مات رضي الله عنه في طاعون عمواس بالأردن من الشام -وفيها قبره- سنة ثماني عشرة، في خلافة عمر، وهو ابن ثمان وخمسين سنة، وصلى عليه معاذ بن جبل، ونزل في قبره معاذ وعمرو بن العاص والضحاك بن قيس. ذكره أبو عمر وصاحب الصفوة.
وذكر المدائني عن العجلاني عن سعيد بن عبد الرحمن بن حسان قال: مات في طاعون عمواس خمسة وعشرون ألفًا، وقيل: لما وقع الطاعون قال عمرو بن العاص: إنه رجز فتفرقوا عنه، فبلغ شرحبيل بن حسنة فقال: صحبت رسول الله -صلى الله عليه وسلم- وعمرو أضل من بعير أهله، إنه دعوة نبيكم ورحمة من ربكم وموت الصالحين قبلكم، فاجتمعوا له ولا تتفرقوا عنه, فبلغ ذلك عمرو، فقال: صدق. وروي أن عمرو بن العاص قال: تفرقوا عن هذا الرجز في الشعاب