حدث أبو عبد الله الصيمري أن عبد الله بن سليمان الوزير وجه بأبي إسحاق الزجاج إلى أبي خازم القاضي وأبي عمر محمد بن يوسف يسألهما في رجل محبوس بدين ثابت عندهما، فبدأ أبو إسحاق بأبي خازم، فجاء إليه وقد علا النهار، ودخل داره، فقال أبو إسحاق للبواب: استأذن لإبراهيم الزجاج، فقال: إن القاضي الآن دخل إلى الدار، وليس العادة بعد أن يقوم من مجلسه، ويدخل الدار أن يستأذن عليه، حتى يصلي العصر، فقال له أبو إسحاق: تعلمه أن الزجاج بالباب، فأبى عليه ذلك، فقال: تعلمه أن رسول الوزير عبيد الله بن سليمان بالباب، فأبى عليه ذلك فقال تعلمه أن رسول الوزير عبيد الله فقال: لو جاء الوزير الساعة لم يستأذن عليه. فانصرف أبو إسحاق وقعد في المسجد مغتاظاً مما جرى، غير أنه لا يشتهي الانصراف إلى الوزير إلا بعد قضاء الحاجة، وقعد إلى وقت العصر، فخرج البواب وكنس الباب ورش، وقال للزجاج: القاضي قد جلس، فإن كان لك رأي في الدخول إليه فقم، فقام أبو إسحاق، فدخل على أبي خازم، فسلم عليه، وتعرف كل واحد منهما خبر صاحبه، غير أنه لم يكن منه من الإقبال ما كان أبو إسحاق يعتقد منه، فأدى أبو إسحاق الرسالة، فقال أبو خازم: تقرأ على الوزير - أعزه الله - السلام وتقول له: إن هذا الرجل محبوس لخصمه في دينه، وليس بمحبوس لي، فإن أراد الوزير إطلاقه، فإما أن يسأل خصمه إطلاقه، أو يقضي عنه دينه، فإن الوزير لا يعجزه ذلك. قال أبو إسحاق: جئت إلى هاهنا قبل الظهر فامتنع البواب من الاستئذان على القاضي، فجلست إلى الآن للدخول عليه - وهو يقصد بهذا أن ينكر القاضي على البواب - فقال له: نعم، هكذا عادتي، إذا قمت من مجلسي، ودخلت إلى داري اشتغلت ببعض الحوائج التي تخصني، فإن القاضي لا بد له من خلوة وتودع، فاغتاظ أبو إسحاق من ذلك أكثر، وقال له مبكتاً له؛ كنت بحضرة الوزير في بعض هذه الليالي، فأنشدت بين يديه: المتقارب.