وقال ابن خزيمة: والله لو كان إسحاق في التابعين لأقروا له بحفظه وعلمه وفقهه.
وقال علي بن خشرم: حدثنا ابن فضيل، عن ابن شبرمة، عن الشعبي قال: ما كتبت سوداء في بيضاء إلى يومي هذا، ولا حدثني رجل بحديث قط إلا حفظته. فحدثت بهذا إسحاق بن راهويه فقال: تعجب من هذا؟ قلت: نعم. قال: ما كنت أسمع شيئا إلا حفظته وكأني أنظر في سبعين ألف حديث، أو قال: أكثر من سبعين ألف حديث في كتبي.
وقال أبو داود الخفاف: سمعت إسحاق بن راهويه يقول: لكأني أنظر إلى مائة ألف حديث في كتبي، وثلاثين ألفا أسردها.
قال: وأملى علينا إسحاق أحد عشر ألف حديث من حفظه ثم قرأها علينا، فما زاد حرفا، ولا نقص حرفا. رواها ابن عدي، عن يحيى بن زكريا بن حيويه، سمع أبا داود فذكرها.
وعن إسحاق قال: ما سمعت شيئا إلا وحفظته، ولا حفظت شيئا قط فنسيته.
وقال أبو يزيد محمد بن يحيى: سمعت إسحاق يقول: أحفظ سبعين ألف حديث عن ظهر قلب.
وقال أحمد بن سلمة: سمعت أبا حاتم الرازي يقول: ذكرت لأبي زرعة إسحاق بن راهويه وحفظه، فقال أبو زرعة: ما رؤي أحفظ من إسحاق. قال أبو حاتم: والعجب من إتقانه وسلامته من الغلط، مع ما رزق من الحفظ. قال: فقلت لأبي حاتم: إنه أملى التفسير عن ظهر قلبه. فقال أبو حاتم: وهذا أعجب، فإن ضبط الأحاديث المسندة أسهل وأهون من ضبط أسانيد التفسير وألفاظها.
وقال إبراهيم بن أبي طالب: فاتني عن إسحاق مجلس من مسنده، وكان يمله حفظا، فترددت إليه مرارا ليعيده، فيعتذر. فقصدته يوما لأسأله إعادته، وقد حمل إليه حنطة من الرستاق، فقال لي: تقوم عندهم وتكتب وزن هذه الحنطة، فإذا فرغت أعدت لك. ففعلت ذلك، فسألني عن أول حديث من المجلس، ثم اتكأ على عضادة الباب، فأعاد المجلس حفظا، وكان قد أملى المسند كله حفظا.