يتحدثون بمصر أن الحافظ كان قد دخل على الملك العادل، فلما رآه قام له، فلما كان اليوم الثاني إذا الأمراء قد جاؤوا إلى الإمام الحافظ إلى مصر، مثل سركس، وأزكش، فقالوا: آمنا بكراماتك يا حافظ. وذكروا أن العادل قال: ما خفتُ من أحدٍ ما خفتُ من هذا الرجل. فقلنا: أيها الملك، هذا رجل فقيه، أيش خفت منه؟ قال: لما دخل ما خيل إلي إلا أنه سبع يريد أن يأكلني. فقلنا: هذه كرامة للحافظ.
قال الضياء: شاهدتُ بخط الحافظ قال: والملك العادل اجتمعت به، وما رأيت منه إلا الجميل، فأقبل علي وأكرمني، وقام لي والتزمني، ودعوتُ له. ثم قلت: عندنا قُصُور فهو الذي يوجب التقصير. فقال: ما عندك لا تقصير ولا قُصُور. وذكر أمر السنة فقال: ما عندك شيء تعابُ به في أمور الدين ولا الدنيا، ولا بُد للناس من حاسدين. وبلغني عنه بعد ذلك أنه ذكر عنده العلماء فقال: ما رأيتُ بالشام ولا مصر مثل فلان، دخل علي فخيل إلي أنه أسد قد دخل علي، وهذا ببركة دعائكم ودعاء الأصحاب.
قال الضياء: وكان المبتدعة قد وغروا صدر العادل على الحافظ، وتكلموا فيه عنده. وكان بعضهم يقول: إنه ربما قتله إذا دخل عليه. فسمعتُ بعضهم أن بعض المبتدعة أرسل إلى العادل يبذل في قتل الحافظ خمسة آلاف دينار.
وسمعتُ الشيخ أبا بكر بن أحمد الطحان، قال: وكان في دولة الأفضل علي جعلوا الملاهي عند درج جيرون، فجاء الحافظ فكسر شيئًا كثيرًا منها. ثم جاء فصعد على المنبر يقرأ الحديث، فجاء إليه رسول القاضي يطلبه حتى يناظره في الدف والشبابة فقال الحافظ: ذاك عندي حرام. وقال: لا أمشي إليه، إن كان له حاجة فيجيء هو. ثم تكلم على المنبر، فعاد الرسول فقال: لا بد من مجيئك قد بطلت هذه الأشياء على السلطان. فقال الحافظ: ضرب الله رقبته ورقبة السلطان. فمضى الرسول، وخفنا من فتنة، فما جاء أحدٌ بعد ذلك.
سمعت محمود بن سلامة الحراني بأصبهان قال: كان الحافظ بأصبهان فيصطف الناس في السوق ينظرون إليه. ولو أقام بأصبهان مدةً وأراد أن يملكها