١٢٤ هـ/ ٧٤٢ م كادت موجات الخوارج أن تجتاح المدينة ولكنها سرعان ما أنقذت بالنصرين غير المتوقعين وهما: نصر القرن والأصنام.
وقامت وَرْفجومة [وهم من الخوارج الصفرية المتطرفة] فى عام ١٤٠ هـ/ ٧٥٧ - ٧٥٨ م بالاستيلاء على المدينة لمدة عام كما قاموا باغتيال العناصر القرشية بصفة خاصة. وقام أبو الخطاب الإباضى [عبد الأعلى بن السمح المعافرى] فى صفر من العام التالى (أى فى عام ١٤١ هـ/ يوليه ٧٥٨ م) بتحرير المدينة وأقر عبد الرحمن ابن رستم [الذى سيصبح مؤسس الدولة الرستمية فى تاهرت] واليا عليها ولكن ذلك لم يدم طويلا حيث قدم محمد بن الأشعث فى شهر جمادى الأولى ١٤٤ هـ أغسطس ونجح فى أن يعيد المدينة إلى حظيرة الشرق مرة أخرى [أى للخلافة العباسية] كما قام بتحصين المدينة بإشارة من الخليفة العباسى أبى جعفر المنصور، فسور المدينة لأول مرة بسور يحيط بها بدأ بناءه فى ذى القعدة ١٤٤ هـ/ فبراير ٧٦٢ م وفرغ منه فى رجب ١٤٦ هـ/ سبتمبر - أكتوبر ٦٧٣ م.
ورغم كل هذه التدابير إلا أنها لم تنقذ المدينة من الاضطرابات، وفى عام ١٥٤ هـ/ ٧٧١ م اتحد كل من بربر الصفرية والإباضية وقاموا بحصار المدينة، فلما طال الحصار وقلت الأقوات وانعدمت المؤن قام أهل القيروان وأكلوا دوابهم وكلابهم وقططهم [وعند ابن عذارى:"وسنانيرهم"].
وتم اجتياح المدينة وأحرقت أبوابها وهدم سورها، ولم يلبث أن أرسل يزيد ابن حاتم المهلبى من الشرق على رأس قوات كبيرة للقضاء على وجود الخوارج بإفريقية، ولكن ظهر خطر آخر ألا وهو الجند حيث أصبحت القيروان مسرحا لمغامرات القادة العسكريين المتمردين.
وقام إبراهيم الأول الأغلبى (١٨٤ - ١٩٦ هـ/ ٨٠٠ - ٨١٢ م) فى عام ١٩٤ هـ/ ٨١٠ م بدك أسوار المدينة وإزالة بواباتها وذلك لمعاقبة أهل المدينة لتحالفهم مع متمردى الجيش ولكنه سرعان ما أعاد تحصينها من جديد.