قال ابنه في الطبقات (٢/ ٢١٦): وقيل أنه لم يُر في جنازة -بعد جنازة أبي الحسن القزويني الزاهد- الجمع الذي حضر جنازته، فلما أصحر المشيعون لجنازته إلى حفرته بمقبرة إمامنا أحمد لحقهم الحر الشديد، فأفطر جماعة لم يسمحوا بالرجوع، وكان قد حضره عالم كثير جدًّا يفوت الإحصاء.
ما رؤي له من المرائي:
يقول ابنه أبو الحسين في طبقاته (٢/ ٢٢٠): وسمعت محمد بن مواهب يقول: سمعت أبا الحسن بن جدًا يقول: كنت نائمًا في داري ليلة مات القاضي أبو يعلى، فهتف لي هاتف وقال:
ما العيش بعدك مستطاب … هيهات أن يغشى لمثلك باب
فانتبهت، فلما أسفر الفجر، سمعت مناديًا ينادي: من أراد الصلاة على القاضي الإمام أبي يعلى، فعلمت أن الهاتف وبيت الشعر لأجله.
فرحم الله القاضي أبي يعلى رحمة واسعة، وغفر له ذنبه، آمين.