قال موسى بن عقبة في " مغازيه ": غزوة عمرو بن العاص هي غزوة ذات السلاسل من مشارف الشام، فخاف عمرو من جانبه ذلك، فاستمد رسول الله - صلى الله عليه وسلم -، فانتدب أبا بكر وعمر في سراة من المهاجرين، فأمر نبي الله عليهم أبا عبيدة، فلما قدموا على عمرو بن العاص قال: أنا أميركم، فقال المهاجرون: بل أنت أمير أصحابك، وأميرنا أبو عبيدة. فقال عمرو: إنما أنتم مدد أمددت بكم. فلما رأى ذلك أبو عبيدة بن الجراح، وكان رجلا حسن الخلق، لين الشيمة، متبعا لأمر رسول الله - صلى الله عليه وسلم - وعهده، فسلم الإمارة لعمرو.
وثبت من وجوه عن أنس، أن رسول الله - صلى الله عليه وسلم - قال:" إن لكل أمة أمينا، وأمين هذه الأمة أبو عبيدة بن الجراح ".
أخبرنا عبد الرحمن بن محمد الفقيه وغيره، إجازة، قالوا: أخبرنا حنبل بن عبد الله، أنبأنا هبة الله بن محمد، أنبأنا أبو علي بن المذهب، أخبرنا أبو بكر القطيعي، حدثنا عبد الله بن أحمد، حدثنا أبي، حدثنا أبو المغيرة، حدثنا صفوان، عن شريح بن عبيد، وراشد بن سعد، وغيرهما قالوا: لما بلغ عمر بن الخطاب سرغ حدث أن بالشام وباء شديدا، فقال: إن أدركني أجلي وأبو عبيدة حي، استخلفته، فإن سألني الله - عز وجل -: لم استخلفته على أمة محمد؟ قلت: إني سمعت رسول الله - صلى الله عليه وسلم - يقول:" إن لكل أمة أمينا، وأمين هذه الأمة أبو عبيدة بن الجراح ". قال: فأنكر القوم ذلك، وقالوا: ما بال علياء قريش؟ يعنون بني فهر. ثم قال: وإن أدركني أجلي وقد توفي أبو عبيدة، أستخلف معاذ بن جبل، فإن سألني ربي، قلت: إني سمعت نبيك يقول: " إنه يحشر يوم القيامة بين يدي العلماء برتوة ".