إن نضوج الحركة العلمية في مدينة الري كان لها أثر كبير على أبي زرعة في تحصيله العلمي، وخاصة جو الأسرة التي عاش وترعرع فيها حيث توجيهات أبيه، وأعمامه، ومن ثم الجهد الذي أبداه في رحلاته إلى المراكز العلمية الأخرى والصبر على طلب الحديث، ولقائه بكبار المحدثين، والمشهورين في سعة الرواية والدراية من علماء عصره كل ذلك مكنه من بلوغه مكانة الأئمة الحفاظ، وجعله يشار إليه بالبنان، ويحتج بأقواله في الجرح والتعديل وبيان علل الحديث سنداً ومتناً، وظل من بعده من الأئمة يستشهدون بآرائه الصائبة، ويستنبطون القواعد من فوائده رحمه الله.
ابتدأ أبو زرعة بطلب الحديث في سن مبكرة، وقد مر آنفاً اهتمام أبيه به وحمله إلى مجالس العلماء كالدشتكي، وغيره. وكان صاحب همة، طلابة للعلم حريصاً على مجالسه يقول عن نفسه "كنا نبكر بالأسحار إلى مجلس الحديث نسمع من الشيوخ، فبينما أنا يوماً من الأيام قد بكرت، وكنت حدثاً إذ لقيني في بعض طرق الري من سماه أبي ونسيته أنا شيخ مخضوب بالحناء فيما وقع لي فسلم عليّ فرددت السلام فقال لي: يا أبا زرعة سيكون لك شأن وذكر … "(١) وكان يتتبع
(١) انظر: تاريخ دمشق لابن عساكر في ترجمة أبي زرعة، وسَيَرِدُ الخبر كاملا في زهده.