فخرجوا ثم عادوا فقالوا له يا أمير المؤمنين: لو عهدت عهدًا، فقال: «مَا أَرَدْتُ أَنْ أَتَحَمَّلَهَا حَيًّا وَمَيِّتًا، عَلَيْكُمْ هَؤُلاَءِ الرَّهْطَ الَّذِينَ قَالَ رَسُولُ اللَّهِ - صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ -: " إِنَّهُمْ مِنْ أَهْلِ الجَنَّةِ "، وَهُمْ عَلِيٌّ، وَعُثْمَانُ، وَعَبْدُ الرَّحْمَنِ، وَسَعْدٌ، وَالزُّبَيْرُ بْنُ الْعَوَّامِ، وَطَلْحَةُ بْنُ عُبَيْدِ اللَّهِ، فَلْيَخْتَارُوا مِنْهُمْ رَجُلاً، فَإِذَا وَلَّوْا وَالِيًا فَأَحْسِنُوا مُوَازَرَتَهُ وَأَعِينُوهُ».
فلما مات عمر جمع المقداد أهل الشورى في حجرة السيدة عائشة بإذنها وطلحة غائب فتنافسوا في الأمر، فقال عبد الرحمن:«أَيُّكُمْ يُخْرِجُ مِنْهَا نَفْسَهُ وَيَتَقَلَّدُهَا عَلَى أَنْ يُوَلِّيَهَا أَفْضَلَكُمْ؟» فلم يجب أحد، فقال:«أَنَا أَنْخَلِعُ مِنْهَا» فرضوا به وأعطوه موثقهم على أن يكونوا معه على من بَدَّلَ وَغَيَّرَ، وأن يرضوا من يختاره لهم. وأعطاهم موثقة ألا يخص ذا رحم وألا يألوا المسلمين نُصْحًا.
وبقي عبد الرحمن ثلاثة أيام بلياليها يلقى أصحاب الرسول - صَلََّى اللهُ عَلَيْهِ وَسَلَّمَ - ومن في المدينة من أمراء الأجناد وأشراف الناس يشاورهم في الأمر، حتى أنه لم ينم في الليلة الأخيرة، وظل يجتمع بهذا وبذاك حتى صلاة الصبح، وفي صباح اليوم الرابع جمع المهاجرين والأنصار وأهل الفضل والسابقة وأمراء الأجناد فاجتمعوا حتى التحم المسجد بأهله، ثم قال:«أَيُّهَا النَّاسُ أَشِيرُوا عَلَيَّ»، فقال عمار بن ياسر:«إِنْ أَرَدْتَ أَنْ لاَ يَخْتَلِفَ الْمُسْلِمُونَ فَبَايِعْ عَلِيًّا»، وأيد المقداد بن الأسود رأي عمار، وقال ابن