كما تم ترميم المسجد عام ٢٧١هـ، ٨٨٤م في عهد الخليفة العباسي المعتمد على الله، وضم الخليفة أبو العباس المعتضد بالله دار الندوة، وجعل مكانها مسجدا، وأضاف منارة عرفت بمنارة باب زيادة. وأجريت عدة تحسينات أخرى.
في العصر المملوكي، تعرض المسجد لأمطار غزيرة أدت إلى سقوط مئذنة باب الحازورة، واجتاح السيل مرة أخرى وادي إبراهيم وأجياد؛ فدخلت المياه إلى المسجد الحرام، فسقط عمودان من أعمدة المسجد بما عليهما. كما شب حريق في السنة نفسها أتى على الجانب الغربي من المسجد، فتم تجديد المسجد وعمارته تجديدا شاملا خلال ذلك العصر.
في العهد العثماني، أجرى السلطان سليمان عمارة للمسجد الحرام عام ٩٧٢هـ، ١٥٦٤م، وأهدى المسجد منبرا رخاميا مطعما بالمرمر، وأنشأ المدارس الأربع في الجهة الشمالية. في عهد السلطان سليم العثماني، بدأت عمارة أخرى للمسجد الحرام، وتمت في عهد خليفته السلطان مراد عام ٩٨٤هـ، ١٥٧٦م. بلغت مساحة المسجد الحرام في العمارة العثمانية الأخيرة ٢٨,٠٠٣م. كما تمت عدة ترميمات وإصلاحات أخرى في نهاية العهد العثماني، كان آخرها عمارة السلطان محمود رشاد.