عند رأسى سورة يس، فقرأتها، فجعل يدعو الله وأنا أؤمن، فقلت: ههنا دواء قد عملناه تشربه؟ فقال: يا بنىّ ما بقى إلا الموت، فقلت: ما تشتهى شيئا؟ قال: أشتهى النظر إلى وجه الله تعالى. فقلت: ما أنت عنى راض؟ قال: بلى والله، أنا عنك راض وعن إخوتك، وقد أجزت لك ولاخوتك ولابن أختك إبراهيم.
قال: وسمعت أبا موسى يقول: أوصانى أبى عند موته: لا تضيعوا هذا العلم الذى تعبنا عليه - يعنى الحديث - فقلت: ما توصى بشئ؟ قال: مالى على أحد شئ، ولا لأحد علىّ شئ. قلت: توصينى بوصية؟ قال: يا بني، أوصيك بتقوى الله، والمحافظة على طاعته. فجاء جماعة يعودونه فسلموا عليه فرد عليهم، وجعلوا يتحدثون، ففتح عينيه وقال: ما هذا الحديث؟ اذكروا الله تعالى، قولوا:
لا إله إلا الله، فقالوها، ثم قاموا. فجعل يذكر الله، ويحرك شفتيه بذكره، وبشير بعينيه، فدخل رجل فسلم عليه، وقال له: ما تعرفنى يا سيدى؟ فقال: بلى، فقمت لأناوله كتابا من جانب المسجد، فرجعت وقد خرجت روحه. وذلك يوم الاثنين الثالث والعشرين من شهر ربيع الأول من سنة ستمائة. وبقى ليلة الثلاثاء فى المسجد، واجتمع الغد خلق كثير من الأئمة والأمراء ما لا يحصيهم إلا الله عزّ وجل. ودفناه يوم الثلاثاء بالقرافة، مقابل قبر الشيخ أبى عمرو ابن مرزوق فى مكان ذكر لى خادمه عبد المنعم أنه كان يزور ذلك المكان، ويبكى فيه إلى أن يبل الحصى، ويقول: قلبى يرتاح إلى هذا المكان رحمه الله ورضى عنه، وألحقه بنبينا محمد صلّى الله عليه وسلم.
قلت: ووقع لابن الحنبلى فى وفاته وهم، فقال: سنة خمس وتسعين وخمسمائة.
ورثاه غير واحد، منهم الإمام أبو عبد الله محمد بن سعد المقدسى الأديب بقصيدة طويلة، أولها:
هذا الذى كنت يوم البين أحتسب … فليقضن دمعى عنك بعض ما يجب