أدرك النبي صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ، وشهد اليرموك، وتوفي مطعوناً في طاعون عمواس قبل أبيه.
قال أبو حذيفة إسحاق بن بشر: قالوا: فبدر معاذ بن جبل - يعني باليرموك - فنادى المسلمين: يا معشر أهل الشام، إنهم قد تهيئوا للشدة، ولا والله، لا يردهم إلا الصدق عند اللقاء، والصبر عند القراع!.
ثم نزل عن فرسه، فقال: من يريد فرساً يركبه، يقاتل عليه؟ قال: فوثب ابنه عبد الرحمن وهو غلام حين احتلم، فأخذه، فقال: ياأبه، إني لأرجو ألا يكون فارس أعظم غناء " في المسلمين مني فارساً. وأنت يا أبت راجل أعظم منك فارس، الرجالة هم عظم المسلمين، فإذا رأوك حافظا مترجلاً صبروا - إن شاء الله - وحافظوا. قال: فقال أبوه: وفقني الله وإياك يا بني.
قال شهر بن حوشب: طعن عبد الرحمن بن معاذ بن جبل، فدخل عليه أبوه، فقال له: كيف تجدك أي بني؟ فقال له: يا أبت " الحق من ربك فلا تكونن من الممترين "، قال معاذ: " ستجدني إن شاء الله من الصابرين " وعن أبي منيب الأحدب قال: خطب معاذ بالشام، فذكر الطاعون، فقال: إنها رحمة ربكم، ودعوة نبيكم، وقبض الصالحين قبلكم، اللهم أدخل على آل معاذ نصيبهم من هذه الرحمة. ثم نزل من مقامه ذلك فدخل على ابنه.