ولي إمرة أمراء الأجناد بالشام، وكان من السابقين الأولين، شهد بدرا، ونزع الحلقتين اللتين دخلتا من المغفر في وجنة رسول الله صلى الله عليه وسلم يوم أحد بأسنانه رفقا بالنبي صلى الله عليه وسلم، فانتزعت ثنيتاه، فحسن ذهابهما فاه، حتى قيل: ما رؤي أحسن من هتم أبي عبيدة. وقد انقرض عقبه. وقيل: آخى النبي صلى الله عليه وسلم بينه وبين محمد بن مسلمة.
وعن مالك بن يخامر أنه وصف أبا عبيدة، فقال: كان نحيفا، معروق الوجه، خفيف اللحية، طوالا، أجنى، أثرم الثنيتين.
وقال موسى بن عقبة في غزوة ذات السلاسل: إن النبي صلى الله عليه وسلم أمد عمرو بن العاص بجيش فيهم أبو بكر وعمر، وأمر عليهم أبا عبيدة.
وقال راشد بن سعد وغيره: إن عمر قال: إن أدركني أجلي وأبو عبيدة حي استخلفته، فإن سألني الله لم استخلفته قلت: إني سمعت نبيك يقول: إن لكل أمة أمينا، وأمين هذه الأمة أبو عبيدة بن الجراح.
وقال عبد الله بن شقيق: سألت عائشة؛ أي أصحاب رسول الله صلى الله عليه وسلم كان أحب إليه؟ قالت: أبو بكر، ثم عمر، ثم أبو عبيدة.
وقال عروة بن الزبير: قدم عمر الشام فتلقوه، فقال: أين أخي أبو عبيدة؟ قالوا: يأتيك الآن، فجاء على ناقة مخطومة بحبل، فسلم عليه، ثم قال للناس: انصرفوا عنا، فسار معه حتى أتى منزله فنزل عليه، فلم ير في بيته إلا سيفه وترسه ورحله، فقال له عمر: لو اتخذت متاعا - أو قال: شيئا - قال: يا أمير المؤمنين، إن هذا سيبلغنا المقيل.
ومناقب أبي عبيدة كثيرة، ذكرها الحافظ أبو القاسم في تاريخ دمشق.