وكان والده القاضي الأشرف أبو المحاسن يوسف بن إبراهيم من أهل الفضل البارع والبلاغة المشهورة، وكان ينوب بحضرة السلطان صلاح الدين يوسف بن أيوب عن القاضي الفاضل في جماعة من الكتاب، وكان حسن الخطّ على طريقة ابن مقلة، فاتفق أن طال مقامه بالشام في صحبة السلطان وأراد الرجوع إلى مصر طلبا للراحة ونظرا في مصالحه، فطلب من السلطان إذنا فقال: يحتاج في ذلك إلى إذن صاحبك، فكتب العماد إلى القاضي يلتمس غيره ليؤذن له فقد طاعت غيبته عن أهله، فكتب القاضي في الجواب كتابا يقول فيه: وأما التماس العوض عن الأشرف القفطي فكيف لي بغيره، وهو ذو لسان صهصلق منطيق، وخاطر ينفق في سعة كل مضيق؟
وكتب إلى القاضي الفاضل رقعة وضمّنها البيت المشهور:
نميل على جوانبه كأنا ... إذا ملنا نميل على أبينا
فكتب القاضي الجواب وضمنه:
فديتك من مائل كالغصون ... إذا ملن أدنين مني الثمارا
وتزهّد والده وترك العمل وأقام باليمن إلى أن مات بها في رجب سنة أربع وعشرين وستمائة.
وحدثني- أدام الله علوه- قال: حججت في موسم سنة ثمان وستمائة «١» ، وكان والدي في صحبتي، فصادفت بمكة جماعة من أهل بلدنا، وكنت بعيد العهد بلقاء أحد منهم، فرآني رجل فالتحق بي كما جرت العادة، ثم عاد إلى من في صحبته من بلدنا فأخبرهم بنا فجاءوا هم إلى منزلنا فقضوا حقّنا بالسلام والسؤال والحرمة، ثم انصرفوا إلى رحالهم فجاء كلّ واحد منهم بما حضره لم يحتفلوا له، وكان فيما جاؤونا به ظرف كبير مملوء عسلا وآخر سمنا على جمل وهو وقره، فألقاه في خيمتنا، فأمرت الغلمان أن يعملوا منه حيسا فيكثروا على عادة تلك البلاد، وأكلنا وأكثرنا زيادة على ما جرت به عادتنا، ثم طفنا بالبيت وعدنا إلى رحالنا ونمت، فرأيت في النوم كأني في الحرم أطوف وإذا رجل شديد الأدمة مشوّه الخلقة، فأخذ بيدي وأخرجني من الحرم