Le monument abrite le célèbre tombeau d'Abou Zamaa el-Balaoui, un compagnon du prophète de l'islam Mahomet, mort au combat en l'an 34 de l'hégire (654 ap. J.-C.). Surnommé Sidi Sahab ou Sidi Sahbi, il est considéré comme le patron de la ville de Kairouan. L'édifice, élevé très probablement aux xiiie et xive siècles, est entièrement rénové au xviie siècle par les beys de la dynastie mouradite. C'est Hammouda Pacha Bey qui reconstruit la zaouïa, édifie la médersa ainsi que le minaret vers 1662 ; son petit-fils, Mohamed Bey El Mouradi, refait complètement la coupole du mausolée, et sans doute la cour et les galeries qui l’entourent aux alentours de 1681-1685

À la fin du xixe siècle, l'écrivain français Guy de Maupassant, qui visite l'édifice lors de son séjour à Kairouan, décrit ses impressions en découvrant la cour qui précède la chambre funéraire : « La grande cour carrée où l'on arrive ensuite en est aussi entièrement décolorée. La lumière luit, ruisselle, et vernit de feu cet immense palais d'émail, où s'illuminent sous le flamboiement du ciel saharien tous les dessins et toutes les colorations de la céramique orientale. Au-dessus courent des fantaisies d'arabesques inexprimablement délicates. C'est dans cette cour de féerie que s'ouvre la porte du sanctuaire qui contient le tombeau de Sidi-Sahab, compagnon et barbier du Prophète ».