ولا رأيت في أصحابنا أحفظ من أبي بكر بن الجعابي, وذاك أني حسبته من البغداديين الذين يحفظون شيخًا واحدًا وترجمة واحدة أو بابًا واحدًا فقال لي أبو إسحاق بن حمزة يومًا: يا أبا علي لا تغلط، ابن الجعابي يحفظ حديثًا كثيرًا؛ قال: فخرجنا يومًا من عند ابن صاعد فقلت له: يا أبا بكر, أيش أسند الثوري عن منصور؟ فمر في الترجمة فما زلت أجره من مصر إلى حديث الشام إلى العراق إلى أفراد الخراسانيين وهو يجيب، إلى أن قلت: فأيش روى الأعمش عن أبي صالح عن أبي هريرة وأبي سعيد بالشركة؟ فذكر بضعة عشر حديثًا، فحيرني حفظه. قال أبو الفضل القطان: سمعت ابن الجعابي يقول: دخلت الرقة وكان لي ثَمَّ قمطر من كتب, فجاء غلامي مغمومًا وقال: ضاعت الكتب؛ فقلت: يا بني لا تغتمّ، فإن فيها مائتي ألف حديث لا يشكل عليَّ حديث منها, لا إسناده ولا متنه.
قال أبو علي التنوخي: ما شاهدنا أحدًا أحفظ من أبي بكر بن الجعابي، وسمعت من يقول: إنه يحفظ مائتي ألف حديث ويجيب في مثلها، كان يفضل الحفاظ بأنه كان يسوق المتون بألفاظها، وأكثر الحفاظ يتسمحون في ذلك، وكان إمامًا في معرفة العلل وثقات الرجال وتواريخهم وما يطعن على الواحد منهم، لم يبقَ في زمانه من يتقدمه.
أنبأنا ابن علان وغيره قالوا: أنا أبو اليمن أنا الشيباني أنا الخطيب, حدثني الحسن بن محمد الأشقر, سمعت أبا عمر القاسم بن جعفر الهاشمي غير مرة يقول: سمعت ابن الجعابي يقول: أحفظ أربعمائة ألف حديث، وأذاكر بستمائة ألف حديث. قال أبو القاسم التنوخي: تقلد ابن الجعابي قضاء الموصل فلم يحمد. وذكر الخطيب عن رجاله أن ابن الجعابي كان يشرب في مجلس ابن العميد. وقال السلمي: سألت الدارقطني عنه فقال: خلط, وذكر مذهبه في التشيع. وكذا روى الحاكم عن الدارقطني قال: وحدثني ثقة أنه خلا به نائمًا وكتب على رجله قال: فكنت أراه ثلاثة أيام لم يمسه الماء. قال الأزهري: إن ابن الجعابي لما مات أوصى بأن تحرق كتبه فأحرقت وكان فيها كتب للناس، قال: فحدثني أبو الحسين بن البواب أنه كان له عنده مائة وخمسون جزءًا فذهبت في جملة ما أحرق.
مسعود السجزي نا الحاكم, سمعت الدارقطني قال: أخبرت بعلة الجعابي فقمت إليه فرأيته يحرق كتبه فأقمت عنده حتى ما بقي منه شيء ومات من ليلته. أبو ذر الهروي, سمعت أحمد بن عبدان الحافظ يقول: وقع إلي جزء من حديث ابن الجعابي فحفظت منه خمسة أحاديث فأجابني فيها ثم قال لي: من أين لك هذا؟ قلت: من جزئك؛ قال: إن شئت ألقِ علي المتن وأجيبك في إسناده أو ألقِ علي الإسناد وأجيبك في المتن.