قال الحاكم: أخبرنا أبو أحمد بن أبي الحسن: أرسلني ابن خزيمة إلى السراج، فقال: قل له: أمسك عن ذكر أبي خليفة وأصحابه، فإن أهل البلد قد شوشوا. فأديت الرسالة، فزبرني.
قال الحاكم: وسمعت أبا سعيد بن أبي بكر يقول: لما وقع من أمر الكلابية ما وقع بنيسابور، كان أبو العباس السراج، يمتحن أولاد الناس، فلا يحدث أولاد الكلابية، فأقامني في المجلس مرة، فقال: قل: أنا أبرأ إلى الله -تعالى- من الكلابية. فقلت: إن قلت هذا لا يطعمني أبي الخبز، فضحك وقال: دعوا هذا.
أبو زكريا العنبري: سمعت أبا عمرو الخفاف يقول لأبي العباس السراج: لو دخلت على الأمير ونصحته. قال: فجاء وعنده أبو عمرو، فقال أبو عمرو: هذا شيخنا وأكبرنا، وقد حضر ينتفع الأمير بكلامه. فقال السراج: أيها الأمير، إن الإقامة كانت فرادى، وهي كذلك بالحرمين، وهي في جامعنا مثنى مثنى، وإن الدين خرج من الحرمين. قال: فخجل الأمير وأبو عمرو والجماعة، إذ كانوا قصدوا في أمر البلد، فلما خرج عاتبوه، فقال: استحييت من الله أن أسأل أمر الدنيا، وأدع أمر الدين.
قال أبو الوليد حسان بن محمد: سمعت أبا العباس السراج يقول: واأسفى على بغداد! فقيل له: ما حملك على فراقها؟ قال: أقام بها أخي إسماعيل خمسين سنة، فلما توفي ورفعت جنازته سمعت رجلا على باب الدرب يقول لآخر: من هذا الميت؟ قال: غريب كان هاهنا. فقلت: إنا لله، بعد طول مقام أخي بها واشتهاره بالعلم والتجارة يقال له: غريب كان هنا. فحملتني هذه الكلمة على الانصراف إلى الوطن.
قلت: كان أخوه إسماعيل السراج ثقة، عالما، مختصا بأحمد بن حنبل، يروي عن يحيى بن يحيى وجماعة. روى عنه: إسماعيل الخطبي وابن قانع، وطائفة.