مرض الحافظ أبو بكر الخطيب ببغداد في منتصف شهر رمضان من سنة ٤٦٣ هـ، واستمر به المرض إلى أن اشتد في غرة ذي الحجة، وحينها أوصى إلى صديقه وتلميذه أبي الفضل بن خيرون، وتصدَّق بجميع ماله، وهو مائتا دينار، فرَّق ذلك على أصحاب الحديث والفقهاء والفقراء في مرضه، ووصَّى أن يُتصدق بجميع ما يخلفه من ثياب وغيرها، وأوقف جميع كتبه على المسلمين.
وتوفي - رحمه الله - ضحى نهار الاثنين السابع من ذي الحجة من سنة ٤٦٣ هـ، وأُخرج الغد يوم الثلاثاء، وحضر الصلاة عليه خلق كثير من أماثل الناس: النقباء والأشراف والقضاة والفقهاء وأهل العلم والصوفية والعامة، وتبع جنازته خلق عظيم، وكان الفقيه الإمام أبو إسحاق إبراهيم بن علي الشيرازي أحد من حمل جنازته، وكان بين يديها جماعة ينادون:«هذا الذي كان يذبُّ عن رسول الله - صلى الله عليه وسلم -، هذا الذي كان ينفي الكذب عن رسول الله - صلى الله عليه وسلم -، هذا الذي كان يحفظ حديث رسول الله - صلى الله عليه وسلم -».
وقد أوصى أن يُدفن بجوار بشر الحافي، وكان قد شرب من زمزم في حجته وسأل الله - عز وجل - ثلاث حاجات منها: أن يُدفن إذا مات عند قبر بشر الحافي.
فسارع تلامذته ومحبُّوه في إنفاذ وصيته، وكان الموضع الذي بجنب بشر