واتفق موت قاضي القضاة شرف الدين ابن عين الدولة فولى بدر الدين السنجاوي قضاء القاهرة وولي الشيخ عز الدين هذا قضاء مصر القديمة والوجه القبلي مع خطابة جامع مصر، ثم إن بعض غلمان وزير الصلاح وهو معين الدين ابن الشيخ بنى بنياناً على سطح مسجد مصر وجعل فيه طبلخاناة فأنكر عز الدين ذلك ومضى بجماعته وهدم البنيان، وعلم أن السلطان والوزير يغضبان فأشهد عليه بإسقاط عدالة الوزير وعزل نفسه عن القضاء، فعظم ذلك على السلطان وقيل له: اعزله عن الخطابة وإلا شنع عليك على المنبر كما فعل في دمشق فعزله، فأقام في بيته يشغل الناس.
وكان مع شدته فيه حسن محاضرة بالنادرة والشعر، وكان يحضر السماع ويتواجد.
قال الشيخ عبد الله اليافعي: وهذا من أقوى الحجج على من ينكر الرقص من الفقهاء على أهل السماع من الفقراء، انتهى كلام اليافعي.
قلت: ليس في هذا حجة على من ينكر السماع من الفقهاء، وقد أنكر السماع جماعة من العلماء الأعلام فلا يلتفت إلى هذا القول. انتهى.
قلت: ولما كان بدمشق سمع من الحنابلة أذى كثيراً. ومن مصنفاته: القواعد الكبرى، والقواعد الصغرى، ومقاصد الرعاية، واختصر نهاية المطالب، وغير ذلك