En 808, le Roi Idris II du Maroc fit de la ville de Fès sa nouvelle capitale et le centre du royaume idrisside. Il y fit construire une nouvelle mosquée qu’il appela la Mosquée Ash-Shurafa’, la Mosquée des Nobles. L’édifice étant situé dans le quartier des Kairouanis, il porta au final leur nom pour s’appeler Mosquée Al-Qarawiyyin.
Le IXe siècle fut une ère de prospérité et de stabilité politique pour le Maroc idrisside. Du fait des nombreux immigrants arabo-berbères, sa population augmenta considérablement et Fès, la capitale, devint une grande métropole musulmane. Tout naturellement, la Mosquée Al-Qarawiyyin devenait de plus en plus petite devant l’afflux de gens qui venaient y prier ou s’instruire.
Parmi les nombreux immigrants arrivés à Fès, figurait un riche Arabe originaire de Kairouan et s’appelant Muhammad Ibn `Abd Allah Al-Fihri. Cet homme n’avait que deux filles, Fatimah et Maryam à qui il s’efforça de donner la meilleure éducation. À sa mort, les deux sœurs se partagèrent les deux tiers de sa fortune. Constatant l’étroitesse de la Mosquée Al-Qarawiyyin, Fatimah, surnommée Umm Al-Banin, décida, au nom de son défunt père, de faire usage de son argent de la meilleure manière qui soit : financer la reconstruction et l’agrandissement de la Mosquée. Elle s’employa par ailleurs à acheter des terrains contigus à la Mosquée pour les lui léguer en tant que biens de mainmorte. C’était en 859. Fatimah Al-Fihriyyah fit ainsi construire une perle architecturale destinée à devenir la Mosquée Al-Qarawiyyin telle que nous la connaissons aujourd’hui. La Mosquée connut également des agrandissements ultérieurs sous le règne des Zénètes, avec la participation des Omeyyades andalous, puis sous le règne des Almoravides.
Il est à noter que la sœur de Fatimah, Maryam, animée par la même générosité, en fit de même avec l’autre grande mosquée de la ville de Fès, la Mosquée Al-Ashyakh, située dans le quartier des Andalous.
Même si les sources historiques ne permettent pas de dater précisément quand la Mosquée Al-Qarawiyyin est devenue une Université, il demeure que son statut de grande mosquée impose que les savants qui la fréquentaient y donnaient des cours de religion et de sciences islamiques. Plus tard, en raison de l’importance qu’elle revêtait, tout fut organisé et mis en œuvre pour en faire une institution du savoir à part entière. On fit venir des professeurs et on y inscrivit des étudiants ; on fixa les disciplines enseignées et on en détermina les programmes ; on décerna des licences et on créa des chaires pour les enseignants ; et enfin, on dota la Mosquée d’une riche bibliothèque. Tous les ingrédients de l’Université étaient désormais réunis.
Très vite, une activité scientifique intense s’organisa à Fès autour de la Mosquée Al-Qarawiyyin, animée par d’éminents savants. Le prestige de Fès et de sa Mosquée ne tarda pas à concurrencer celui d’autres hauts lieux du savoir, à l’instar de Cordoue ou de Bagdad. Cette activité scientifique atteignit son apogée sous le règne des Almoravides, mais surtout sous le règne des Mérinides, qui firent de Fès et d’Al-Qarawiyyin le joyau de l’Extrême-Occident musulman. C’est ainsi qu’on vit émerger de cette prestigieuse institution des géants de la pensée et de la philosophie islamique. Parmi tant d’autres citons l’historien Ibn Khaldoun, le médecin Ibn Roushd (Averroès), le philosophe Ibn Toufayl ou le mathématicien Ibn Al-Yasamin.