C'est vers 670 que les Arabes musulmans, sous la conduite de Oqba Ibn Nafi Al Fihri, fondent la ville dans le but d'en faire un point d'appui dans leur campagne de conquête de l'Afrique du Nord. L'emplacement choisi pour sa fondation, à l'intérieur des terres, semble particulièrement inhospitalier mais se situe suffisament loin de la côte pour éviter les assauts de la flotte byzantine contrôlant alors la mer Méditerranée. Il fait aussi face aux montagnes qui sont le refuge des Berbères. De plus, les conquérants de la première génération ne tiennent compte que des lieux propres à la nourriture de leurs chameaux. Kairouan possède alors une double fonction militaire et religieuse, assurant à la fois la guerre sainte et la défense des terres nouvellement conquises.
Vers 775, Abou Qurra assiège Kairouan et y répand durant un temps le kharidjisme sufrite. Devenue la capitale des Aghlabides, la cité prospère rapidement au cours du IXe siècle et devient le siège principal du pouvoir en Ifriqiya et un grand centre de rayonnement de la culture arabe et de l'islam, rivalisant avec les autres centres du bassin méditerranéen. C'est une grande ville de commerce et de science renommée pour son école de droit malékite et son école de médecine formée par Ishaq ibn Imran. Kairouan joue également un rôle significatif dans l'arabisation des Berbères et des populations de langue latine de l'Ifriqiya.
En 909, les Fatimides, chiites ismaïliens menés par Abu Abd Allah ach-Chi'i, s'emparent de l'Ifriqiya et font de Kairouan leur résidence. Mais la ville perd son statut avec la fondation de Mahdia sur la côte orientale et sa proclamation comme capitale du califat fatimide. Mais les tensions ethnico-religieuses avec la population strictement sunnite de la ville obligent les Fatimides à abandonner le point d'appui qu'ils s'étaient constitué pour rejoindre l'Égypte vers 972-973 où il fonderont Le Caire, le nouveau centre du califat. Entretemps intervient la prise de Kairouan par l'ibadite Abu Yazid qui parvient ainsi, avec l'aide de la population sunnite de la ville, à interrompre brièvement l'hégémonie des Fatimides entre 944 et 946. Au milieu du Xe siècle, Kairouan dépasse les 100 000 habitants. Son approvisionnement en eau est assuré par un réseau de canalisations provenant des montagnes environnantes et un grand nombre de citernes réparties dans la ville et en-dessous de la Grande mosquée. Les grands réservoirs datant de l'époque aghlabide sont encore visibles de nos jours.
Rue de Kairouan en 1899Après le retrait définitif des Fatimides, c'est une dynastie vassale de ces derniers, les Zirides, qui prend le pouvoir en Ifriqiya. Muizz ibn Badis (1016-1062), son plus illustre représentant, mène une politique en faveur de la population sunnite et la ville connaît alors la dernière période d'épanouissement de son histoire. En effet, en 1054, les Fatimides du Caire organisent une expédition punitive contre les Zirides devenus dissidents : les tribus bédouines des Hilaliens et des Banu Sulaym fondent sur la ville, la détruisant presque entièrement. En 1057, Muizz ibn Badis s'enfuit à Mahdia et livre Kairouan et ses environs au pillage.
Avec l'essor des villes côtières sous le règne des Hafsides, et principalement de Tunis, Kairouan décline inéluctablement. En 1702, Hussein I Bey en restaure l'enceinte et de nombreuses mosquées. Au cours de l'offensive française menée por prendre le contrôle du pays, les troupes commandées par le général Félix Gustave Saussier prennent Kairouan le 28 octobre 1882. L'occupation de la ville paralyse la résistance et aboutit à la soumission de la Tunisie. Pendant le protectorat français, la ville devient tout de même l'un des foyers de la résistance nationaliste.