Il est bâti entre 1860 et 1870 à l'initiative du ministre Kheireddine Pacha1. Il combine une organisation spatiale traditionnelle avec des innovations européennes : façade à larges ouvertures sur rue et décor intérieur italianisant avec moulures dorées. Toutefois, le palais a subi de nombreuses transformations et démolitions et il ne subsiste plus du palais d'origine que le décor d'un salon avec une cheminée en fonte et la partie modifiée de la façade.

En effet, avec le protectorat français et le départ du ministre Kheireddine, la propriété est morcelée à sa vente en 18811, les annexes étant vendues à plusieurs propriétaires privés ; le palais lui-même, après avoir servi de tribunal, ce qui donne son nom à la rue, est partagé et vendu à deux propriétaires différents en 1905.

La partie du palais située au sud est démolie entre 1910 et 1920 et une école israélite construite à sa place1 et sur des terrains avoisinants, propriétés de la communauté israélite dès 1908.

Plaque en marbre indiquant le musée de la ville de Tunis
L'autre moitié du palais située au nord, sur la place du Tribunal, est affectée à une école musulmane. Devenue bien domanial en 1961, cette partie du palais est abandonnée quelque temps, sauf une aile utilisée comme logement de fonction pour le directeur de l'école. En 1972, après des travaux de consolidation réalisés par la municipalité de Tunis, cette aile abrite certains services du district de Tunis.

Cet ensemble de bâtiments est alors en attente d'un projet qui lui redonnerait vie et constituerait un pôle d'attraction pour la médina. Suite au classement comme monument historique du palais Kheireddine par le décret du 19 octobre 19922, la municipalité de Tunis créé le musée de la ville de Tunis en 1999 dans l'aile nord située sur la place du Tribunal. Ce musée accueille régulièrement des expositions et se présente comme l'une des plus grandes galeries d'art de Tunis.

L'école israélite restée fermée depuis de nombreuses années et pressentie par la municipalité de Tunis pour y installer une résidence d'artistes complémentaire au musée est squattée suite à la révolution de 2011 par une soixantaine de familles.