علي الحسن بن أحمد البصري قال: رأيت الخطيب في المنام، وعليه ثياب بيض حسان، وعمامة بيضاء، وهو فرحان يبتسم، فلا أدري قلت: ما فعل الله بك؟ أو هو بدأني فقال: غفر الله لي أو رحمني، وكل من يجيء - فوقع لي أنه يعني بالتوحيد - إليه يرحمه أو يغفر له، فأبشروا، وذلك بعد وفاته بأيام.
وقال أبو الخطاب بن الجراح يرثيه:
فاق الخطيب الورى صدقاً ومعرفة وأعجز الناس في تصنيفه الكتبا حمى الشريعة من غاو يدنسها بوضعه ونفى التدليس والكذبا جلا محاسن بغداد فأودعها تاريخه مخلصاً لله محتسباً وقال في الناس بالقسطاس منحرفاً عن الهوى وأزال الشك والريبا سقى ثراك أبا بكر على ظمأً جونٌ ركامٌ تسح الواكف السربا ونلت فوزاً ورضواناً ومغفرةً إذا تحقق وعد الله واقتربا يا أحمد بن علي طبت مضطجعاً وباء شانيك بالأوزار محتقبا وقال أبو الحسين ابن الطيوري: أنشدنا أبو بكر الخطيب لنفسه:
تغيب الخلق عن عيني سوى قمرٍ حسبي من الخلق طراً ذلك القمر محله في فؤادي قد تملكه وحاز روحي فما لي عنه مصطبر والشمس أقرب منه في تناولها وغاية الحظ منه للورى النظر وددت تقبيله يوماً مخالسةً فصار من خاطري في خده أثر وكم حليم رآه ظنه ملكاً وردد الفكر فيه أنه بشر وقال غيث الأرمنازي: أنشدنا أبو بكر الخطيب لنفسه:
إن كنت تبغي الرشاد محضاً لأمر دنياك والمعاد فخالف النفس في هواها إن الهوى جامع الفساد وقال أبو القاسم النسيب: أنشدنا أبو بكر الخطيب لنفسه:
لا تغبطن أخا الدنيا لزخرفها ولا للذة وقت عجلت فرحا فالدهر أسرع شيء في تقلبه وفعله بين للخلق قد وضحا كم شاربٍ عسلاً فيه منيته وكم تقلد سيفاً من به ذبحا