Le palais, appelé également Grand palais ou Borj El Kebir, a été édifié en 1793 sur ordre de Hammouda Pacha comme sa résidence d'été. Il est utilisé plus tard comme résidence des hôtes illustres de la Tunisie, dont l'amiral français Lassègue en 1802 et la reine Caroline de Brunswick en 1816.

À partir de 1839, il devient un quartier de commandement militaire, d'artillerie puis de cavalerie sous l'ordre du général Kheireddine Pacha, un centre réservé aux instructeurs militaires étrangers dont Jean-Baptiste-Marie Campenon et Giuseppe Garibaldi, puis le quartier général des troupes d'occupation françaises à partir de 1881. Par la suite, le bâtiment est occupé successivement par plusieurs corps militaires et menacé de destruction à plusieurs reprises, notamment lors de la Seconde Guerre mondiale.

Après l'indépendance de la Tunisie, des travaux de restauration sont entrepris par le ministère de la Défense, permettant au monument de retrouver sa splendeur initiale. Il est alors décidé de l'aménager pour abriter le musée militaire national, inauguré le 25 juin 1984 et ouvert au public le 24 juin 1989.

À sa construction, le palais comporte un élégant kiosque transféré ultérieurement en haut de la colline du parc du Belvédère ; il est appelé actuellement Koubbet El Haoua.