وأن أحدث بها وأُدْفَن بجنب بشر بن الحارث، وقد رزقني الله دخولها ورواية "التاريخ" بها وأنا أرجو الثالثة، وأوصى أن يدفن إلى جانب بشر. توفي ضحوة نهار يوم الاثنين سابع ذي الحجة من هذه السنة (سنة ٤٦٣) في حُجرة كان يسكنها بدرب السلسلة في جوار مدرسة النظامية، وحمل جنازته أبو إسحاق الشيرازي وعَبَر به على الجسر، وجازوا به في الكرخ، وحُمِل إلى جامع المنصور وحضر الأماثل والفقهاء والخلق الكثير، وصلى عليه أبو الحسين بن المهتدي ودفن إلى جانب بشر، وكان أحمد بن علي الطريثيثي قد حفر هناك قبرًا لنفسه فكان يمضي إلى ذلك الموضع ويختم فيه القرآن عدة سنين، فلما أرادوا دفن الخطيب هناك منعهم وقال: هذا قبري أنا حفرته وختمت فيه ختمات ولا أمكنكم، فقال له أبو سعد الصوفي: يا شيخ! لو كان بشر الحافي في الحياة ودخلت أنت والخطيب عليه أيُّكما كان يقعد إلى جانبه؟ قال: الخطيب! فقال: كذا ينبغي أن يكون في حالة الموت. فطاب قلبه ورضي فدفن الخطيب هناك". رحمه الله تعالى.