أغلب المصادر متفقة على أنه رحمه الله توفي في صفر في الثاني والعشرين من سنة تسع وعشرين وستمائة في سن الكهولة.
وقال ابن رجب: توفي بكرة يوم الجمعة ثاني عشر صفر سنة تسع وعشرين وستمائة ببغداد، وقال ابن المستوفي: توفي بها (بغداد) يوم الجمعة ثالث عشر من صفر من سنة تسع وعشرين وستمائة رحمه الله، وحدثني أبو القاسم علي بن أبي الفرج بن الموصلي أنه توفي في ثاني عشر من ربيع الأول من السنة المذكورة بهيضة لحقته، فإن صحت الرواية الأخيرة فهو في حكم الشهيد، وقد جاء في الحديث "المبطون شهيد" وفسره ابن الأثير فقال: الذي يموت بمرض بطنه كالاستسقاء ونحوه. وقد روى الطبراني في المعجم الصغير ١/ ١٠٨: من قتله بطنه لم يعذّب في قبره.