On dit qu’à l’origine il y avait là la retraite d’un moine chrétien et qu’à proximité de cette retraite il y avait un olivier, d’où l’appellation du sanctuaire : jemaâ ez Zitouna ou mosquée de l’Olivier. La fondation de celle-ci est très exactement datée : l’an 732 de l’ère chrétienne ; mais la mosquée a été reconstruite au milieu du IX^e siècle. Depuis, elle a connu plusieurs réaménagements, chaque dynastie tenant à améliorer l’esthétique ou le fonctionnement de ce que d’aucuns considèrent comme la première université islamique, et la dernière intervention en date remonte au XIX^e siècle avec le remodelage du minaret, haut de 44 mètres.

 

De ce fait, ce monument reflète à sa manière l’évolution de l’art de bâtir dans ce pays depuis le haut Moyen-age, et plus haut encore si l’on considère les matériaux de remploi antiques intégrés dans l’édifice, tels quelques linteaux de marbre sculptés ou la forêt de colonnes et de chapiteaux qui soutiennent le plafond de la salle des prière où les préaux de galeries extérieures, pour la plupart, d’époque romaine et byzantine.

Outre la salle de prière, la cour et les préaux qui l’entourent et donnent accès au monument - ce qui constitue le corps central de l’édifice-, la mosquée de la Zitouna a été dotée d’annexes et de dépendances, telle la mîdha, pour les ablutions, ou la bibliothèque, fondée en 1450.