عن شرحبيل بن مسلم الخولاني قال: تنبأ الأسود بن قيس العنسي باليمن فأرسل إلى أبي مسلم فقال له: أتشهد أن محمداً رسول الله؟ قال: نعم، قال: فتشهد أني رسول الله؟ قال: ما أسمع قال: أتشهد أن محمداً رسول الله؟ قال: نعم. قال: فتشهد أني رسول الله؟ قال: ما أسمع. قال: فأمر بنار عظيمة فأججت وطرح فيها أبو مسلم فلم تضره فقال له أهل مملكته: إن تركت هذا في بلادك أفسدها عليك. فأمره بالرحيل فقدم المدينة وقد قبض رسول الله صلى الله عليه وسلم واستخلف أبو بكر. فقام إلى سارية من سواري المسجد يصلي فبصر به عمر بن الخطاب، فقال: من أين الرجل؟ قال: من اليمن - قال: فما فعل عدو الله بصاحبنا الذي حرقه بالنار فلم تضره؟ قال: ذاك عبد الله بن ثوب. قال: نشدتك بالله عز وجل أنت هو؟ قال: اللهم نعم. قال: فقبل ما بين عينيه، ثم جاء به حتى أجلسه بينه وبين أبي بكر وقال: الحمد لله الذي لم يمتني حتى أراني في أمة محمد صلى الله عليه وسلم من فعل به كما فعل بإبراهيم خليل الرحمن، عليه السلام.
عن علقمة بن مرثد قال: انتهى الزهد إلى ثمانية من التابعين منهم أبو مسلم الخولاني، فإنه لم يكن يجالس أحداً يتكلم في شيء من أمر الدنيا إلا تحول عنه، فدخل ذات يوم المسجد فنظر إلى نفر قد اجتمعوا فرجا أن يكونوا على ذكر الله تعالى، فجلس إليهم وإذا بعضهم يقول: قدم غلامي فأصاب كذا وكذا. وقال آخر: جهزت غلامي، فنظر إليهم وقال: سبحان الله أتدرون ما مثلي ومثلكم؟ كمثل رجل أصابه مطر غزير وابل فالتفت فإذا هو مبصراعين عظيمين فقال: لو دخلت هذا البيت حتى يذهب هذا المطر، فدخل فإذا البيت لا سقف له. جلست إليكم وأنا أرجو أن تكونوا على ذكر وخير فإذا أنتم أصحاب دنيا، قال: وقال له قائل، حين كبر ورق: لو قصرت عن بعض ما تصنع. فقال: أرأيتم لو أرسلتم الخيل في الحلبة ألستم تقولون لفارسها دعها وارفق بها حتى إذا رأيتم الغاية لم تستبقوا منها شيئاً؟ قالوا: بلى، قال: فإني قد أبصرت الغاية وإن لكل ساعة غاية، وغاية كل ساعة الموت، فسابق ومسبوق.
أبو بكر بن أبي مريم قال: حدثني عطية بن قيس أن ناساً من أهل دمشق أتوا أبا مسلم الخولاني في منزله وهو غاز بأرض الروم، فوجدوه قد احتقر في فسطاطه جوبة ووضع في الجوبة نطعاً وأفرغ فيه ماء يتصلق فيه وهو صائم، فقالوا له: ما يحملك على الصيام وأنت مسافر وقد رخص لك في الفطر في السفر؟ فقال: لو حضر قتال لأفطرت وتقويت للقتال، إن الخيل لا تجري إلى الغايات وهي بدن إنما تجري وهي ضمر، إن بين أيدينا أياماً لها نعمل.