Les Lasram descendent d'une tribu yéménite installée à Kairouan. Hammouda Lasram put entamer la construction du palais après avoir acquis et démoli plusieurs immeubles pour obtenir une grande parcelle de terrain.

Le palais fut occupé par sa descendance jusqu'à son acquisition pour la Municipalité en 1964. Celle-ci y installa l'Association de Sauvegarde de la Médina née à l'initative du maire de l'époque. Le palais est désormais divisé entre “l'Association de sauvegarde de la médina’’ et le Club Tahar-Haddad, installé dans le makhzen.

Ce palais, modèle parfait de la grande demeure tunisoise, est composé de trois niveaux : le rez-de-chaussée est occupé par les communs, makhzen et maison de service, l'étage constitue l'habitation principale, et à un demi-niveau plus haut se trouve la maison des hôtes ou ali el dhiaf.

Trois sqifa aux faïences blanches et bleues et aux portes cloutées isolent la cour du bruit, de la chaleur et des regards indiscrets.

La salle d'apparat, face à l'entrée et cruciforme, est constituée de trois alcôves et quatre chambres disposées dans chaque angle. La lumière pénètre par quatre fenêtres, deux sur cour et deux côté jardin. Son décor de faïence et de stuc d'inspiration andalouse, ainsi que ses plafonds de bois peint à l'italienne, est une merveille.