أسف لذلك وتخلى عنه الكثيرون واضطر أن يعود إلى الكوفة ويوقف الحرب ضد معاوية.
وفى هذا الوقت اجتمع الحكمان، وبعض الأشخاص البارزين (باستثناء علىّ وربما ممثله أيضا) فى أذْرح فى شعبان عا م ٣٨ هـ/ يناير ٦٥٩ م، وتم إعلان قرار التحكيم (وتقول مصادر عديدة إن أبا موسى اعترف بأن عثمان قتل ظلما) وجرت مناقشة اختيار خليفة جديد. أيد عمرو بن العاص معاوية معارضا تفضيل أبى موسى لعبد اللَّه ابن عمر الذى رفض أن يتولى منصب الخلافة. وحينئذ اقترح أبو موسى خلع معاوية وعلىّ وإعادة عرض الاختيار على لجنة، وقد وافقه عمرو على ذلك، وأعاد أبو موسى الأشعرى تفضيله لابن عمر، وهنا أعلن عمرو بن العاص خلع علىّ وتنصيب معاوية، وقد وصف المؤرخون بعد ذلك هذا الإعلان بأنه خدعة غادرة وخيانة، وعلى أية حال لم يكن للمؤتمر غير النتائج السلبية ذلك لأن المشتركين تفرقوا دون أن يصلوا إلى قرار بشأن الخلافة. واستمر أنصار علىّ -الذين كانوا يتناقصون- يعتبرونه الخليفة، وفى عام ٣٩ هـ/ ٦٥٩ م، كان الموقف لا يزال مضطربا، وظل علىّ -الذى كان حبيس الكوفة- سلبيا حتى عندما كان معاوية يقوم ببعض الحملات فى قلب العراق، وفى الجزيرة العربية.
وفى خراسان والشرق، انتهى الحكم العربى، وفى عام ٤٠ هـ/ ٦٦٠ م، لم يكن لعلىّ أية سلطة فى المدينتين المقدستين، ولم يستطع أن يوقف هجوم معاوية على اليمن، وأخيرًا تمكن أحد الخوارج وهو عبد الرحمن بن ملجم المرادى، أن يضربه بسيف مسموم أمام باب مسجد الكوفة؛ وذلك انتقامًا للذين قتلوا فى النهروان، ومات علىّ بعد يومين وكان فى الثانية أو الثالثة والستين، وتقول إحدى الروايات إن عبد الرحمن بن ملجم كان واحدا من جماعة من المتطرفين اتفقوا على تخليص الإسلام من هؤلاء الثلاثة الذين تسببوا فى الحرب الأهلية، وكان المفروض أن يقتل معاوية وعمرو فى الوقت نفسه، وظل مكان دفنه غير