ثم انصرف إلى وطنه سنة أربعين، وكان يعظ ويذكر على ستر وصيانة، ثم خرج إلى مكة سنة خمس وستين، وجاور بها، ولزم العبادة فوق ما كان من عبادته، وكان يعظ بها ويذكر. ثم توفي بها في ذي الحجة من سنة سبع وستين، ودفن بالبطحاء عند تربة الفضيل بن عياض. حججت في تلك السنة، وكان معي ابنه إسماعيل وامرأته سريرة، وقد خرجنا لزيارة أبي القاسم، فنعي إلينا بقرب الحرم، وإذا به مات قبل وصولنا إلى مكة بسبعة أيام. فأما إسماعيل فإنه ترجل ووضع التراب على رأسه حافياً، وأما سريرة فإنها لم تدع على رأسها شعرة واحدة، فصارت كالرجل الأصلع، وكنا نبكي لبكائهما. ثم زرت قبره في البطحاء غير مرة، رحمة الله ورضوانه عليه.
وابنه أبو إبراهيم إسماعيل بن أبي القاسم النصراباذي الواعظ، الصوفي ابن الصوفي، والمحدث ابن المحدث. سمع الكثير بخراسان والعراق والحجاز والأهواز. سمع أبا عمرو محمد بن جعفر بن مطر، وأبا بكر أحمد بن إبراهيم الإسماعيلي، وأبا أحمد محمد بن أحمد الغطريفي، وأبا بكر محمد بن أحمد بن محمد المفيد الجرجائي، وأبا محمد عبد الله بن محمد السقا المزني، وأبا العباس أحمد بن سعيد المعداني. وعقد له مجلس الإملاء بنيسابور، وانتشرت عنه الروايات الكثيرة. روى عنه أبو الفضل محمد بن علي السهلكي، وأبو سعد علي بن عبد الله بن الحسن بن أبي صادق الحيري. ومات في المحرم سنة ثمان وعشرين وأربعمئة.