روى عن: أبي عاصم، وأبي نعيم، وقبيصة بن عقبة، ومسلم بن إبراهيم، وأبي الوليد الطيالسي، وأحمد بن يونس، وثابت بن محمد الزاهد، وخلاد بن يحيى، وعبد الله بن صالح العجلي، والقعنبي، ومحمد بن سعيد بن سابق، وأبي ثابت المدني، وأبي سلمة التبوذكي، وإبراهيم بن شماس، والحسن بن بشر البجلي، والحسن بن الربيع البوراني، والحكم بن موسى، وصفوان بن صالح، وسنيد بن داود، وعبد الرحمن بن شيبة، وعلي بن عبد الحميد المعني، ومحمد بن الصلت الأسدي، ويحيى بن عبد الله بن بكير، ومحمد بن أمية الساوي، ومنجاب بن الحارث، وعبد الرحيم بن مطرف السروجي، وهشام بن خالد الأزرق، وخلق كثير، قد ذكرنا في تراجم كثير منهم روايته عنهم.
روى عنه: مسلم، والترمذي، والنسائي، وابن ماجه، وإسحاق بن موسى الأنصاري، وحرملة بن يحيى، والربيع بن سليمان، ومحمد بن حميد الرازي، وعمرو بن علي، ويونس بن عبد الأعلى، وهم من شيوخه، وأبو حاتم، وأبو زرعة الدمشقي، وإبراهيم الحربي، ومحمد بن عوف الطائي، وهم من أقرانه، وسعيد بن عمرو البرذعي، وصالح بن محمد جزرة، وعبد الله بن أحمد، وعبد الرحمن بن أبي حاتم، وابن أخيه أبو القاسم بن محمد بن عبد الكريم، وأبو عوانة الإسفراييني، وموسى بن العباس الجويني، وعمر بن عبد العزيز بن مقلاص، وأبو بكر بن أبي داود، وعبد الله بن محمد بن وهب الدينوري، وأبو يعلى الموصلي، والقاسم بن زكريا المطرز، وعلي بن الحسين بن الجنيد، وأبو بكر بن زياد النيسابوري، ومحمد بن الحسين بن الحسن بن القطان، وآخرون.
قال النسائي: ثقة.
وقال أبو حاتم: إمام.
وقال الخطيب: كان إماما ربانيا، حافظا مكثرا صادقا.
قال عبد الله بن أحمد: لما قدم أبو زرعة: نزل عند أبي، وكان كثير المذاكرة له، فسمعت أبي يقول يوما: ما صليت غير الفرض، استأثرت بمذاكرة أبي زرعة.
وقال عبد الله بن أحمد في موضع آخر: قلت لأبي: يا أبت، من الحفاظ؟ قال: يا بني، شباب كانوا عندنا من أهل خراسان، وقد تفرقوا. قلت: من هم؟ قال محمد بن إسماعيل، وعبيد الله بن عبد الكريم، وعبد الله بن عبد الرحمن، والحسن بن شجاع.
وقال عبد الله بن أحمد: سمعت أبي يقول: ما جاوز الجسر أفقه من إسحاق، ولا أحفظ من أبي زرعة.
وقال الحسن بن أحمد بن الليث: سمعت أحمد يدعو الله لأبي زرعة.
وقال فضلك الرازي، عن أبي مصعب: ما رأيت مثله بعيني.
وقال فضلك أيضا، عن الربيع: إن أبا زرعة آية.
وقال عبد الواحد بن غياث: ما رأى أبو زرعة مثل نفسه.
قال ابن وارة: سمعت إسحاق بن راهويه يقول: كل حديث لا يعرفه أبو زرعة، ليس له أصل.
وقال أبو حاتم: رأيت في كتاب إسحاق بخطه إلى أبي زرعة: إني أزداد بك كل يوم سرورا.
وقال البرذعي: سمعت محمد بن يحيى يقول: لا يزال المسلمون بخير ما أبقى الله لهم مثل أبي زرعة.
وقال صالح بن محمد، عن أبي زرعة: أنا أحفظ عشرة آلاف حديث في القراءات.
وقال أيضا: سمعت أبا زرعة يقول: كتبت عن إبراهيم بن موسى الرازي مائة ألف حديث، وعن أبي بكر بن أبي شيبة مائة ألف حديث.
قال: فقلت له: بلغني أنك تحفظ مائة ألف حديث، تقدر أن تملي علي ألف حديث من حفظك؟ قال: لا، ولكن إذا ألقي علي عرفت.
وقال أبو يعلى الموصلي: ما سمعنا يذكر أحد في الحفظ إلا كان اسمه أكبر من رؤيته، إلا أبو زرعة، فإن مشاهدته كانت أعظم من اسمه.
وقال أبو جعفر التستري: سمعت أبا زرعة يقول: ما سمع أذني شيئا من العلم، إلا وعاه قلبي، وإن كنت لأمشي في سوق بغداد، فأسمع من الغرف صوت المغنيات، فأضع أصبعي في أذني مخافة أن يعيه قلبي.
وقال أبو حاتم: حدثني أبو زرعة، وما خلف بعده مثله علما وفقها وفهما وصيانة وصدقا، ولا أعلم في المشرق