ولم تزل هذه القلعة عامرة، حتى زالت دولة بني أيوب، فلما ملك السلطان الملك المعز عز الدين أيبك التركماني أول ملوك الترك بمصر، أمر بهدمها، وعمر
منها مدرسته المعروفة بالمعزية في رحبة الحناء بمدينة مصر، وطمع في القلعة من له جاه، وأخذ جماعة منها عدة سقوف وشبابيك وغير ذلك، وبيع من أخشابها ورخامها أشياء جليلة، فلما صارت مملكة مصر إلى السلطان الملك الظاهر بيبرس البندقداري اهتم بعمارة قلعة الروضة، ورسم للأمير جمال الدين موسى بن يغمور أن يتولى عمارتها كما كانت. فأصلح بعض ما تهدم منها، ورتب بها الجاندارية وأعادها إلى ما كانت عليه من الحرمة، وأمر بأبراجها ففرقت على الأمراء، وأعطى برج الزاوية للأمير سيف الدين قلاوون الألفي، والبرج الذي يليه للأمير عز الدين الحلي، والبرج الثالث من برج الزاوية للأمير عز الدين أدغان، وأعطى برج الزاوية الغربي للأمير بدر الدين الشمسي، وفرقت بقية الأبراج على سائر الأمراء. ورسم أن يكون بيوت جميع الأمراء وإصطبلاتهم فيها، وسلم المفاتيح لهم. فلما تسلطن الملك المنصور قلاوون، وشرع في بناء المارستان والقبة والمدرسة المنصورية نقل من قلعة الروضة هذه ما يحتاج إليه من العمد الصوان، والعمد الرخام التي كانت قبل عمارة القلعة بالبرابي، وأخذ منها رخاما كثيرا، وأعتابا جليلة، مما كان بالبرابي وغير ذلك. ثم أخذ منها السلطان الناصر محمد بن قلاوون ما احتاج إليه