توفي أبو زرعة رحمه الله بالري سنة أربع وستين ومائتين في يوم الإثنين آخر يوم من السنة أرخ وفاته في هذه السنة الحافظ في التقريب والذهبي في العبر وابن كثير في البداية والنهاية وابن أبي يعلى في طبقات الحنابلة ولم أقف على ما يخالف هذا القول إلاّ قولاً حكاه الحافظ في تهذيب التهذيب عن أبي حاتم أنه توفي سنة ثمان وستين أي ومائتين أما سنة ولادته فقد سئل عنها فقال:"ولدت سنة مائتين"نقل ذلك ابن أبي يعلى في طبقات الحنابلة وذكر بن كثير في البداية والنهاية قولاً آخر في سنة ولادته وأنها في سنة تسعين ومائة ولا شك أن الأرجح في ذلك ما ذكره هو عن نفسه ومدة عمره على هذا أربع وستون سنة رحمه الله.
وروي أنه عند وفاته اجتمع عنده عدد من العلماء الرازيين فأرادوا تلقينه فاستحيوا منه فرأوا أن يتذاكروا في حديث التلقين فشرع أحدهم بإسناد حديث ثم وقف أثناءه فقال أبو زرعة رحمه الله حدثنا بندار وساق إسناده إلى رسول الله صلى الله عليه وسلم أنه قال:"من كان آخر كلامه من الدنيا لا إله إلاّ الله" وتوفي رحمه الله.
ممن ترجم له:
١- ترجم له ابن أبي حاتم في مقدمة الجرح والتعديل ٣٢٨.
٢- والذهبي في العبر ٢-٢٨ وتذكرة الحفاظ ٢-١٣٦.
٣- وابن حجر في تهذيب التهذيب ٧-٣٠ وفي التقريب ١-٥٣٦.