وأهله جدًّا، وفي (منازله) إشارات إلى المحو والفناء، وإنما مرادهُ بذلك الفناء هو الغيبة عن شهود السوِّى، ولم يُردْ محوَ السِّوى في الخارج، ويا ليته لا صنف ذلك، فما أحلى تصوف الصحابة والتابعين ما خاضوا في هذه الخطرات والوساوس ...
وسمعت خادمه أحمد بن أميرجه يقول: ... قال العلويُّ الدبوسي: يأذن الشيخ الإمام أن أسأل؟ قال سل. قال: لم .. تلعن أبا الحسن الأشعري؟ فسكت الشيخ، وأطرق الوزير، فلما كان بعد ساعة، قال الوزير: أجبه، فقال: لا أعرف أبا الحسن، وإنما ألعنُ من لم يعتقد أن الله في السماء وأن القرآن في المصحف".
ثم قال أيضًا: "قال -أي خادمه أحمد بن أميرجه-: وسمعت أصحابنا بهراة يقولون: لما قدم السلطان ألب أرسلان هراة في بعض قدماته، اجتمع مشايخ البلد ورؤساؤه، ودخلوا على أبي إسماعيل، وسلّموا عليه، وقالوا: ورد السلطان ونحن على عزم أن نخرج، ونسلم عليه، فأحببنا أن نبدأ بالسلام عليك، وكانوا قد تواطؤوا على أن حملوا معهم صنمًا من نحاس صغيرًا، وجعلوه في المحراب تحت سجادة الشيخ، وخرجوا، وقام الشيخ إلى خلوته، ودخلوا على السلطان، واستغاثوا من الأنصاري، وأنه مجسم، وأنه يترك في محرابه صنمًا يزعم أن الله تعالى على صورته، وإن بعث السلطان الآن يجده، فعظم ذلك على السلطان، وبعث غلامًا وجماعة، فدخلوا، وقصدوا المحراب، فأخذوا الصنم، فألقى الغلام الصنم، فبعث السلطان من أحضر الأنصاري، فأتى فرأى الصنم والعلماء، وقد اشتد غضب السلطان، فقال له السلطان: ما هذا؟ قال: صنم يعمل من الصفر شبه اللعبة. قال: لستُ عن ذا أسألك. قال: فعمّ يسألني السلطان؟ قال: إن هؤلاء يزعمون أنك تعبد هذا، وأنك تقول: إن الله على صورته. فقال شيخ الإسلام بصولةٍ وصوتٍ جهوري: سبحانك! هذا بهتان عطيم.
فوقع في قلب السلطان أتهم كذبوا عليه. فأمر به، فأخرج إلى داره مكرمًا، وقال لهم: اصدقوني. وهددهم، فقالوا: نحن في يد هذا في بلية من استيلائه علينا بالعامة، فأردنا أن نقطع شره عنا. فأمر بهم. ووكل بهم، وصادرهم، وأخذ منهم وأهانهم.
قال ابن طاهر: وسمعت أبا إسماعيل يقول: كتاب أبي عيسى الترمذي عندي أفيد من كتاب البخاري ومسلم. قلت: ولم؟ قال: لأنهما لا يصل إلى الفائدة منهما إلا من يكون من أهل المعرفة التامة، وهذا كتاب قد شرح أحاديثه. وبينها، فيصل إلى فائدته كل فقيهٍ وكل محدث.
وقال عبد الغافر بن إسماعيل: كان أبو إسماعيل الأنصاري على حظ تام من معرفة العربية والحديث والتواريخ والأنساب، إمامًا كاملًا في التفسير، حسن السيرة في التصوف، غير مشتغلٍ بكسب، مكتفيًا بما يباسط به المريدين والأتباع من أهل مجلسه في العام مرة أو مرتين على رأس الملأ، فيحصل على ألوفٍ من الدنانير وأعداد من الثياب والحُلي، فيأخذها، ويفرقها على اللحام والخباز، وينفق منها.
إذا انصرف إلى بيته، عاد إلى المرقعة والقعود مع الصوفية في الخانقاه يأكل معهم، ولا يتميز بحال،