Il est construit en 1500 (905 de l'hégire) à l'emplacement du vieux port pour devenir au xviie siècle et au xviiie siècle une résidence estivale pour les Mouradites et les Husseinites ainsi qu'un abri lors de menaces extérieures.
Parmi les personnalités qui ont habité ce palais figurent Mahmoud Bey (1814-1824), son fils Hussein II Bey et les consuls britanniques Richard Wood et Thomas Reade.