واحتياجه إلى العمارة، ومن أي جهة يكون المصروف على ذلك، فجالوا في ذلك إلى أن سأل القاضي الحنبلي قاضي الشافعية الهروي عن أربع مسائل تتعلق بذلك فأجابه فخطأه في جميعها، وتقاول القاضيان الشافعي والحنفي حتى تسابا. وأفحش الديري في أمر الهروي حتى قال: أشهدك يا مولانا السلطان أني حجرت عليه أن يفتي وحكمت بذلك، فنفذ حكمه المالكي والحنبلي في المجلس، وبلغ الهروي من البهدلة إلى حد لم يوصف، وأعان على ذلك شدة بغض الناس له وتمم عليه ورحيل أعوانه وأنصاره مثل ططر وغيره مع ما هو عليه من قلة العلم وعجمة اللسان.
فلما كان في الثامن من شهر ربيع الأول قدم طائفة من الخليل والقدس صحبة الناظر عليهم حينئذ وهو حسن الشكلي فشكون منه أنه أخذ منهم مالاً عظيماً في أيام نظره. فابتليت بالحكم بينهم بأمر السلطان، فتوجه الحكم على الهروي فخرج في الترسيم، فلما حاذى المدرسة الصالحية خرج الرسل الذين بها من جهة الحنفي فأدخلوه قاعة الشافعية وتوكلوا به. فأرسل قاصده إلى مرجان الخازندار، فنزل بنفسه وسب الموكلين به ونقله إلى داره.
وفي الثاني عشر منه أمر السلطان أن يوكل بالهروي فوكل به