بعد فتح تونس سنة ٧٩هـ /٦٩٨م اقتضت الحاجة لبناء مسجد للصلاة ونشر الدين الإسلامي بين أهالي تونس، ففي عام ٨٤هـ بني أول مسجد فيها بهمة الشيخ الأمين حسان بن النعمان الغساني فاتح تونس وقرطاجنة وسمي بـ (جامع الزيتونة)، لأنَّ موقعه كانت به شجرة زيتون عند صومعة كان يتعبّد فيها راهب نصراني، وقيل أنَّ السبب في تسميته بهذا الاسم هو لكثرة شجر الزيتون بالقرب من مكان الجامع عند بنائه، ثم في سنة ١١٦هـ /٧٣٤م قام والي أفريقية الأمير عبيد الله بن الحبحاب بتوسعة وإعمار الجامع وأحكم وضعه على أساس فخم، وزاد في ضخامته. وفي سنة ٢٥٠هـ /٨٦٤م بنى أبو إبراهيم أحمد الأغلبي في عهد الخليفة المستعين بالله قبة الجامع. وفي سنة ٣٨١هـ /٩٩١م قام أبو الفتح المنصور بن أبي الفتوح يوسف بن زيري ثاني ملوك الصنهاجيين بترميم قبة بهو الجامع. وفي سنة ٧٤٧هـ في أيام محمَّد المستنصر بن أبي زكريا زود الجامع بالماء عن طريق بناء قناطر، وقام أمراء الشيعة المهدية وبنو حفص سلاطين تونس بالاهتمام بهذا الجامع، وكان الانتهاء من العمل به في عهد الحاكم الأغلبي زيادة الله الثاني. وفي سنة ١٣١٢هـ /١٨٩٤م بنيت مئذنة الجامع مكان المئذنة القديمة من قبل المهندس سليمان النيقرو. وفي سنة ١٣٥٧هـ /١٩٣٩م حصل آخر ترميم للجامع
(تنبيه): التاريخ الميلادي تقريبي نظراً لاشتماله على أكثر من عام هجري أحياناً