حسرةً، ومات وأنا ببغداد سنة أربع وثلاثمائة، وصليت على جنازته.
قال الحاكم: انصرف أبو علي من مصر إلى بيت المقدس، ثم حج حجة أخرى، ثم انصرف إلي بيت المقدس، وانصرف عن طريق الشام إلى بغداد، وهو باقعة في الحفظ، لا يطيق مذاكرته أحد، ثم انصرف إلي خراسان ووصل إلي وطنه، ولا يفي بمذاكرته أحد من حفاظنا، وسمعته يقول: قال لي أبو بكر بن خزيمة: يا أبا علي لقد أصبت في خروجك إلى العراق والحجاز، فإن الزيادة على حفظك وفهمك ظاهرة. ثم أقام أبو على بنيسابور إلي سنة عشر وثلاثمائة، يصنف ويجمع الشيوخ والأبواب، وجوَّدها، ثم حملها إلى بغداد سنة عشر ومعه أبو عمرو الصغير فحج وخرج إلى الرَّملة، وأبو العباس محمد بن الحسن بن قتيبة حي، ثم انصرف إلى دمشق، ثم جاء إلى حَرَّان، وانتخب على أبي عروبة، ثم انصرف إلى بغداد وأقام بها، حتى نقل ما استفاد من مصنفاته في تلك الرحلة, وذاكر الحفاظ بها، ثم انصرف من العراق، ولم يرحل بعدها إلا إلى سرخس وطوس ونسا.
قال مقيده -عفا الله عنه-: وسبب خروجه من دمشق قصة ذكرها الحاكم عن أبي عمرو الصغير يقول فيها: نزلنا الخان بدمشق، فأتى ابن جوصا زائرًا لأبي علي الحافظ، فنزل على البغلة، وأظهر الفرح، وذكر أبا علي، وأخذ منه جمعه كتاب عبد الله بن دينار ثم حملنا إلى منزله، ثم اجتمع جماعة من الرَّحَّالة، منهم: الزبير الأسدَاباذي، ونقموا على ابن جوصا أحاديث، فقال أبو علي: لا تفعلوا، هذا إمام قد جاز القنطرة، قال: فبلغ ذلك ابن جوصا، فما بالى بهم، بل كان يهاب أبا علي فبعث بوكيله