الخطيب: سمعت ابن رزقويه قال: كان ابن الجعابي يمتلئ مجلسه وتمتلئ السكة التي يملي فيها والطريق, ويحضره ابن المظفر والدارقطني ويملي الأحاديث بطرقها من حفظه. قال أبو علي الحافظ: قلت لابن الجعابي: قد وصلت إلى الدينور فهلا جئت نيسابور؟ قال: هممت به ثم قلت: أذهب إلى قوم عجم لا يفهمون عني ولا أفهم عنهم. قال الحاكم: قلت للدارقطني: بلغني عن ابن الجعابي أنه تغير عما عهدنا، قال: وأي تغير؟ قلت: بالله هل اتهمته؟ قال: إي والله؛ ثم ذكر أشياء فقلت: وصح لك أنه خلط الحديث؟ قال: إي والله؛ قلت: حتى خفت أنه ترك المذهب؟ قال: ترك الصلاة والدين.
وقال محمد بن عبيد الله المسبحي: كان ابن الجعابي المحدث قد صحب قومًا من المتكلمين فسقط عند أهل الحديث، وأمر عند موته أن تحرق دفاتره بالنار فاستقبح ذلك منه، وصل إلى مصر ودخل إلى الأخشيد ثم مضى إلى دمشق فوقفوا على مذهبه فشردوه فخرج هاربًا. قال ابن شاهين: دخلت أنا وابن المظفر والدارقطني على ابن الجعابي وهو مريض فقلت له: من أنا؟ فقال: سبحان الله ألستم فلانًا وفلانًا, وسمانا، فدعونا وخرجنا ومشينا خطوات وسمعنا الصائح بموته ورجعنا لغد فرأينا كتبه تل رماد.
قال الأزهري: كانت سكينة نائحة الرافضة تنوح في جنازته. وقال أبو نعيم: قدم ابن الجعابي أصبهان سنة تسع وأربعين, يعني: وسمعوا منه.
وللشاعر محمد بن سكرة في ابن الجعابي:
ابن الجعابي ذو سجايا ... محمودة منه مستطابه
رأى الرئا والنفاق حظا ... في ذي العصابة وذي العصابه
يعطي الإمامي ما اشتهاه ... ويثبت الأمر في القرابه
حتى إذا غاب عنه أنحى ... يثبت الأمر في الصحابه
وإن خلا الشيخ بالنصارى ... رأيت سمعان أو مرابه
قد فطن الشيخ للمعاني ... فالغر من لامه وعابه
أخبرنا إسحاق الأسدي أنا يوسف الحافظ أنا أبو المكارم التيمي "ح" وأنبأنا أحمد بن سلامة عن التيمي أنا أبو علي الحداد أنا أبو نعيم الحافظ نا محمد بن عمر بن سلم نا محمد بن النعمان السلمي نا هدبة نا حزم بن أبي حزم, سمعت الحسن يقول: بئس الرفيق الدينار والدرهم لا ينفعانك حتى يفارقاك. توفي ابن الجعابي ببغداد في رجب سنة خمس وخمسين وثلاثمائة.