وقع لكم في خواطركم فقولوا لي. فوقع في قلبي أنه يهودي وكان الخاطر يقوى ولا يزول فذكرت ذلك للحريري فكبر عليه ذلك فقلت: لا بد من أن أخبر الرجل بذلك. فقلت له: تقول كل ما وقع في خاطركم فقولوه لي: إنه يقع لي أنك يهودي. فأطرق ساعة ثم رفع رأسه وقال: صدقت أشهد أن لا إله إلا الله وأشهد أن محمداً رسول الله، وقال: قد مارست جميع المذاهب، فأنتم على الحق وحسن إسلامه.
أبو سعيد بن عطاء قال: إن الجنيد رأى فيما يرى النائم قوماً من الأبدال فسأل: هل ببغداد أحد من الأولياء؟ فقالوا: نعم أبو العباس بن مسروق. قال: فقلت متعجباً: أبو العباس بن مسروق؟ فقالوا: نعم أبو العباس بن مسروق من أهل الأنس بالله عز وجل.
علي بن عبد الله بن جهضم قال: أنا المفيد، قال: سمعت أحمد بن مسروق يقول: كانت والدتي إذا كان يوم الجمعة تبكي، تعلم أني لا أنصرف من الجمعة إلا عليلاً لما قد سمعته من الشيوخ وكنت أنظر إلى شيوخي فتكون رؤيتي لهم قوتي من الجمعة إلى الجمعة.
جعفر بن محمد بن نصير قال: سئل ابن مسروق ما التوكل؟ قال: اعتماد القلب على الله.
قال السلمي: وقال ابن مسروق: من راقب الله في خطرات قلبه عصمه الله في حركات جوارحه.
وقال: أنت في هدم عمرك منذ خرجت من بطن أمك.
أسند ابن مسروق الكثير، وروى عن محمد بن بكار وشيبان بن فروخ وخلق كثير، وصحب البرجلاني ومحمد بن منصور الطوسي والحارث المحاسبي وسرياً السقطي.
وتوفي في صفر سنة ثمان وتسعين ومائتين، ودفن في مقابر باب حرب وبلغ أربعاً وثمانين سنة.