العادل بن أيوب انتقل بيت الملك إلى القلعة، وصارت القلعة منزلا للملوك والسلاطين إلى أيامنا هذه. وفى الدولة التركية فى أيام الملك الناصر محمد بن قلاوون شرع فى هدم الجهة القبلية منها الأمير قرا سنقر، وبنى بها ربعا ومدرسة، وبنى السلطان بيبرس الجاشنكير بجانب المدرسة خانقاه.
قال المقريزى: ولما كانت سنة سبعمائة أخذ الأمير شمس الدين قراسنقر المنصورى - نائب السلطنة فى أيام الملك المنصور حسام الدين لاجين - قطعة من دار الوزارة، فبنى بها الربع المقابل خانقاه سعيد السعداء، ثم بنى المدرسة المعروفة بالقراسنقرية، ومكتب الأيتام.
فلما كانت دولة البرجية بنى الأمير ركن الدين بيبرس الجاشنكير الخانقاه الركنية والرباط بجانبها من جملة دار الوزارة، وذلك فى سنة تسع وسبعمائة. ثم استولى الناس على ما بقى من دار الوزارة، وبنوا فيها، فمن حقوقها الربع الذى تجاه خانقاه سعيد السعداء، والمدرسة القراسنقرية، وخانقاه ركن الدين بيبرس، وما بجوارها من دار قزمان، ودار الأمير شمس الدين سنقر الأعسر وحمّامه الذى بجانبها، والحمام المجاور لها، وما وراء هذه الأماكن من الآدر وغيرها، والدار الكبرى المعروفة بدار الأمير سيف الدين برلغى الصغير - صهر الملك المظفر بيبرس الجاشنكير - المعروفة اليوم بدار الغزاوى، وفيها السرداب الذى كان زريك بن الصالح فتحه فى أيام وزارته من دار الوزارة إلى سعيد السعداء، وهو باق إلى الآن فى صدر قاعتها، وذكر أن فيه حية عظيمة.
ومن حقوق دار الوزارة المناخ المجاور لهذه القاعة، وكان من وراء القصر الكبير فيما يلى ظهر دار الوزارة الكبرى والحجر، وكان برسم طواحين القمح التى تطحن جرايات القصور، وبرسم مخازن الأخشاب والحديد، ونحو ذلك مثل آلات الأساطيل من الأسلحة المعمولة بيد الفرنج القاطنين فيه، والقنب والكتان والمنجنيقات والزفت فى المخازن التى عليها الأتربة، ولا تنقطع إلا بالمعاول، وكانت الفرنج فيه كثيرة منهم النجارون والخرازون والدهانون والخبازون والخياطون وغيرهم.
وكان على دار الوزارة سور مبنى بالحجارة، وقد بقى الآن منه قطعة فى حد دار الوزارة الغربى وفى حدها القبلى، وهو الجدار الذى فيه باب الطاحون والساقية تجاه باب سعيد السعداء من الزقاق الذى يعرف اليوم بخرائب تتر.
ثم قال: وكانت دار الوزارة فى الدولة الفاطمية تشتمل على عدة قاعات ومساكن وبستان وغيره، وكان فيها مائة وعشرون مقسما للماء الذى يجرى فى بركها ومطابخها ونحو ذلك.