ولما ذكره ابن حبان في كتاب "الثقات" قال: كان أحد أئمة الدنيا في الحديث مع الدين والورع والمواظبة على الحفظ والمذاكرة وترك الدنيا وما فيه الناس. توفي سنة ثمان وستين ومائتين.
وقال القراب: في وفاته اختلاف.
وقال ابن أبي حاتم: ومن العلماء الجهابذة النقاد من الطبقة الرابعة أبو زرعة، كتب إليه إسحاق بن إبراهيم وأحمد بن إبراهيم: لا نزال في ذكرك بجميل حتى نكاد نفرط، وإن لم يكن فيك بحمد اللَّه إفراط، وإني أسمع من إخواننا القادمين علينا لما أنت عليه من العلم والحفظ فأسر لذلك.
وقال عمرو بن سهل: ما ولد من خمسين ومائة سنة مثل أبي زرعة.
وقال أبو زرعة: رأيت فيما يرى النائم كأني في مسجد النبي صلى اللَّه عليه وسلم، وكأني أمسح يدي على موضع المقعد من منبره صلى اللَّه عليه وسلم الذي يليه ثم أمسكته، فعبره لي رجل من أهل سجستان فقال: أنت تعنى بحديث النبي صلى اللَّه عليه وسلم والصحابة والتابعين.
وَذُكِرَ أبو عبد اللَّه الطهراني وأبو زرعة عند أبي، فقال أبي: كان أبو زرعة أفهم من أبي عبد اللَّه وأعلم منه بكل شيء بالفقه والحديث وغيره.
وقال يونس بن عبد الأعلى: أبو زرعة وأبو حاتم إماما خراسان، ودعا لهما بخير، وقال: بقاؤهما صلاح المسلمين.
وقال أبو زرعة: ذهب بي أبي إلى عبد الرحمن بن سعد الدشتكي فأقعدني على فخذه، وقال: أخرج يدك، فنظر إلى شقوق فيها، فقال لأبي: إن ابنك هذا سيكون له شأن، ويحفظ القرآن والعلم، وذكر أشياء.
وقال أبو زرعة: خرجت من الري المرة الثانية سنة تسع وعشرين، ورجعت سنة اثنتين وثلاثين في أولها، ثم خرجت إلى مصر فأقمت بها خمسة عشر شهرًا. وقال: