في عهد أمير المؤمنين عمر رضي الله عنه استأنف الإعداد لفتح بيت المقدس، فوجه أبا عبيدة بن الجراح رضي الله عنه إلى المدينة المقدسة في خمسة آلاف فارس، ثم أتبعهم بخمسة آلاف تحت قيادة يزيد بن أبي سفيان، ثم بخمسة آلاف تحت قيادة شرحبيل بن حسنة، فاجتمعوا جميعاً، وضربوا الحصار حول المدينة المقدسة حوالى أربعة أشهر، حتى طلب أهلها الصلح على أن يتولى عمر بنفسه تسلم المدينة، فاستجاب عمر رضي الله عنه، وخرج بنفسه إلى إيلياء، فوصل إليها في شهر رجب من السنة السادسة عشرة للهجرة في شهر الإسراء والمعراج؛ ليحرر مسرى رسول الله صلى الله عليه وسلم ويفك عنه الأغلال، ودخل المدينة عن طريق جبل المكبر، الذي سمي بجبل عمر؛ لأن عمر رضي الله عنه دخل منه.
ولما أشرف على المدينة المقدسة من فوقه كبر عمر رضي الله عنه، وكبر المسلمون معه، ومن ثم سمي جبل المكبر، وبعد أن دخلها ووصل إلى أرض المسجد الأقصى أزال عنها ما وضعه النصارى من أقذار، وبنى مسجداً أمام الصخرة، وجعل الصخرة في مؤخرته.
والناس إذا ذكر عندهم المسجد الأقصى يتبادر إلى ذهنهم هذه القبة المبنية فوق الصخرة، والتي يجعلون بناءها من عجائب الدنيا، وهذه القبة هي جزء من أرض المسجد الأقصى، أما المسجد الأقصى فهو كل المساحة التي حول قبة الصخرة، وأرض المسجد الحقيقي هو الموجود في الجهة الغربية من قبة الصخرة، فالمسجد الأقصى كبناء وكمسجد ليس هو قبة الصخرة، وإن كان في الأصل أن قبة الصخرة جزء من هذه الساحة التي هي والأرض المحيطة بها كلها تشكل كلمة المسجد الأقصى.