لما استخلف عمر بن الخطاب رضي الله عنه كتب إلى أبي عبيدة: أما بعد. فإن أبا بكر الصديق خليفة رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ توفي، فإنا لله وإنا إليه راجعون، رحم الله أبا بكر العامل بالحق والآمر بالقسط، الآخذ بالعرف والسهل، القريب الوادع الحليم، فرغب إلى الله في العصمة برحمته، والعمل بطاعته، والخلود في جنته إنه على كل شيء قدير. والسلام.
فخرج يرفا مولاه حتى أتى أبا عبيدة بن الجراح، فقرأ كتاب عمر، فلم يسمع فيه بيعة أحد، فدعا أبو عبيدة معاذ بن جبل، فأقرأه الكتاب، فالتفت معاذ إلى الرسول فقال: رحم الله أبا بكر، ويح غيرك، ما فعل المسلمون؟ فقال: استخلف أبو بكر عمر فقال: الحمد لله، وفقوا وأصابوا، فقال أبو عبيدة: ما منعني عن مسألته منذ قرأت الكتاب إلا مخافة أن يستقبلني فيخبرني أنه ولى غير عمر، فقال له الرسول: يا أبا عبيدة، إن عمر بن الخطاب يقول لك: أخبرني عن حال الناس، وأخبرني عن خالد بن الوليد أي رجل هو؟ وأخبرني عن يزيد بن أبي سفيان وعمرو بن العاص كيف هما في حالهما ونصيحتهما للمسلمين، فقال: خالد خير رجل وأنصحه للإسلام، وأشده على عدوهم من الكفار، وعمرو ويزيد في نصيحتهما وجدهما كما يحب، وقال: وأخبرني عن أخويك سعيد بن زيد ومعاذ بن جبل، فقال: هما كما عهدت إلا أن السؤدد زادهما في الدنيا زهداً، وفي الآخرة رغبة. ثم قام الرسول، فقالا: أين تريد؟ قال: أرجع، فقالا: سبحان الله، انتظر حتى نكتب معك فكتبا: بسم الله الرحمن الرحيم. من أبي عبيدة بن الجراح ومعاذ بن جبل إلى عمر بن الخطاب، سلام عليك، فإنا نحمد إليك الله الذي لا إله إلا هو، أما بعد. فإنا عهدناك وأمر نفسك لك مهم، يا عمر، قد أصبحت وقد وليت أمر هذه الأمة أحمرها وأسودها، يجلس بين يديك العدو والصديق، والضعيف والشديد، ولكل عليك حصة من العدل، فانظر كيف تكون عند ذلك يا عمر، وإنا نذكرك يوماً تبلى فيه السرائر، وتنكشف فيه العورات، وتعنت فيه الوجوه لعزة ملك قهرهم جبروته، فالناس له داخرون، يخافون، وينتظرون قضاءه، وإنه بلغنا أنه يكون في هذه الأمة رجال يكونون إخوان العلانية،