وأربعين ومائتين ومات في شعبان سنة إحدى وعشرين وثلاثمائة ببغداد. وذكر أبو علي الحسن بن سهل بن عبد الله الإيذجي القاضي: لما توفي أبو هاشم الجبائي ببغداد اجتمعنا لندفنه فحملناه إلى مقابر الخيزران في يوم مطير ولم يعلم بموته أكثر الناس، فكنا جميعة في الجنازة، فبينا نحن ندفنه إذ حملت جنازة أخرى ومعها جميعة عرفتهم بالأدب، فقلت لهم: جنازة من هذه؟ فقالوا: جنازة أبي بكر بن دريد، فذكرت حديث الرشيد لما دفن محمد بن الحسن والكسائي بالري في يوم واحد - قال: وكان هذا في سنة ثلاث وعشرين وثلاثمائة - فأخبرت أصحابنا بالخبر وبكينا على الكلام والعربية طويلاً، وافترقنا. مات أبو هاشم ببغداد في شعبان سنة إحدى وعشرين وثلاثمائة دفن بالخيزرانية مع ابن دريد. وشيخنا أبو محمد دعوان بن علي بن حماد الجبائي المقرئ الضرير، شيخ صالح من أهل القرآن والحديث، لقيته بباب الأزج وقرأت عليه الحديث عن أبي الخطاب نصر بن أحمد بن البصر وأبي عبد الله الحسين بن أحمد بن طلحة النعالي وغيرهما، وسألته عن نسبته فقال: نسبتي إلى قرية من أعمال النهروان يقال لها جبة. وأخوه أبو سالم علي بن حماد الجبائي سمعت منه الحديث ببغداد.