وقال الحافظ إسماعيل بن الأنماطي: سمعت أبا صادق عبد الحق بن هبة الله القضاعي المحدث، سمعت العالم أبا الحسن علي بن إبراهيم بن بنت أبي سعد، يقول: كان القاضي الخلعي يحكم بين الجن، وإنهم أبطؤوا عليه قدر جمعة، ثم أتوه، وقالوا: كان في بيتك أترج، ونحن لا ندخل مكانًا يكون فيه.
قال أبو الميمون بن وردان: حدثنا أبو الفضل، حدثنا بعض المشايخ، عن أبي الفضل الجوهري الواعظ، قال: كنت أتردد إلى الخلعي، فقمت في ليلةٍ مقمرةٍ ظننت الصبح، فإذا على باب مسجده فرسٌ حسنة، فصعدت، فوجدت بين يديه شابًا لم أر أحسن منه يقرأ القرآن، فجلست أسمع إلى أن قرأ جزءًا، ثم قال للشيخ: آجرك الله. قال: نفعك الله، ثم نزل، فنزلت خلفه، فلما استوى على الفرس، طارت به، فغشي علي، والقاضي يصيح بي: اصعد يا أبا الفضل، فصعدت، فقال: هذا من مؤمني الجن، يأتي في الأسبوع مرةً يقرأ جزءًا ويمضي.
قال ابن الأنماطي: قبر الخلعي بالقرافة يعرف بقبر قاضي الجن والإنس، يعرف بإجابة الدعاء عنده.
قال: وسألت شجاعًا المدلجي وغيره عن الخلعي: النسبة إلى أي شيء? فما أخبرني أحدٌ بشيء، وسألت السديد الربعي، وكان عارفًا بأخبار المصريين، عدلًا، فقال: كان أبوه بزازًا، وكانت أمراء المصريين من أهل القصر يشترون الخلع من عنده، وكان يتصدق بثلث مكسبه.
وذكر ابن رفاعة أنه سمع من الحبال، وأنه أتى إلى الخلعي، فطرده مدةً، وكان بينهما شيءٌ، أظن من جهة الاعتقاد، فهذه الحكاية منكرة، لأن أبا إسحاق الحبال كان قد منع من التحديث قبل موته بسنوات، ويصبو ابن رفاعة عن إدراك الأخذ عنه قبل ذلك.
قال أبو الحسن علي بن أحمد العابد: سمعت الشيخ ابن بخيساه قال: كنا ندخل على القاضي أبي الحسن الخلعي في مجلسه، فنجده في الشتاء والصيف وعليه قميصٌ واحدٌ، ووجهه في غايةٍ من الحسن، لا يتغير من البرد، ولا من الحر، فسألته عن ذلك، فتغير وجهه، ودمعت عينه، ثم قال: أتكتم علي ما أقول? قلت: نعم. قال: غشيتني حمى يومًا، فنمت في تلك الليلة، فهتف بي هاتفٌ، فناداني باسمي، فقلت: لبيك داعي الله، فقال: لا، قل: لبيك ربي الله، ما تجد من الألم? فقلت: إلهي وسيدي، قد أخذت مني الحمى ما قد علمت. فقال: قد أمرتها أن تقلع عنك، فقلت: إلهي، والبرد أيضًا، قال: قد أمرت البرد أيضًا أن يقلع عنك، فلا تجد ألم البرد ولا الحر، قال: فوالله ما أحس بما أنتم فيه من الحر ولا من البرد.