وبنى أساسه بالحجارة إلى أن بلغ قامة، وجعل له ستة أبواب: بابين عن يمين القبلة وبابين عن يسارها ولم يغير باب عاتكة ولا الباب الذي كان يدخل منه النبي، وفتح بابا عند دار مروان بن الحكم، وفتح بابين في مؤخر المسجد، وروي عن أبي هريرة أنه قال: قال رسول الله -صلى الله عليه وسلم:"لو بني هذا المسجد إلى صنعاء كان مسجدي". وروى غيره مرفوعا أنه قال:"هذا مسجدي وما زيد فيه فهو منه، ولو بلغ صنعاء كان مسجدي".
وكان أبو هريرة يقول: ظهر المسجد كقعره، وأدخل عمر في هذه الزيادة دارًا للعباس بن عبد المطلب وهبها للمسلمين، وعن عبد الرحمن بن أبي الزناد عن أبيه أن عمر بن الخطاب رضي الله عنه أراد هدم دار كانت للعباس بن عبد المطلب؛ ليزيدها في المسجد وقال: ذلك أرفق بالمسلمين، فقال له العباس: حكِّم بيني وبينك في ذلك، فجعلا بينهما أبي بن كعب فقال: إني أحدثكما حديثا سمعته من رسول الله -صلى الله عليه وسلم- قال: إن داود النبي أراد بنيان بيت المقدس وكانت أرضه لرجل فاشتراها سليمان منه فلما باعه الرجل إياه قال الرجل: ما أخذت مني خير أم ما أعطيتني؟ قال: بل ما أخذت، قال: فإني لا أجيز، فناقضه البيع، ثم اشتراها ثانية فقال له: ما أخذت مني خير أم ما أعطيتني؟ فقال: بل ما أخذت منك قال: إني لا أجيز فناقضه البيع، ثم اشتراها الثالثة فصنع مثل ذلك، فقال له سليمان: أشتريها منك بحكمك على أن لا تسألني، قال: فاشتراها بحكمه فاحتكم شيئا كثيرا اثني عشر قنطارا ذهبا، فاستعظمه سليمان، فأوحى الله إليه: إن كنت تعطيه من رزقنا فأعطه حتى يرضى، وإن كنت تعطيه من عندك فذلك لك، وعم النبي العباس إن شاء باعها وإن شاء تركها، قال العباس: أما إذا قضيت فيَّ فقد جعلتها للمسلمين.
وكانت للعباس دار إلى جنب المسجد فقال له عمر: بعنيها فقال له العباس: لا أبيعك، فقال عمر: إذًا آخذها، فقال العباس: لا تأخذها، فقال: اجعل بيني وبينك من شئت، فجعلا بينهما أبي بن كعب فأخبروه الخبر، فقال: أوحى الله إلى سليمان أن ابْنِ بيتَ المقدس وكان بيت لعجوز فأراد أخذه منها فأبت أن تبيعه إياه، فعزم على أخذه منها وإدخاله في المسجد، فأوحى الله إليه أن بيتي أحق المواضع أن لا يدخل فيه شيء من الظلم، فكف عن أخذه فقال عمر: وأنا أشهدكم أني قد كففت عن دار العباس، فقال له العباس: أما إن كان هذا وحكم لي عليك فإني أشهدكم أني قد جعلتها صدقة على المسلمين، فهدمها عمر، وأدخلها في المسجد، واشترى نصف موضع كان خطه النبي -صلى الله عليه وسلم- لجعفر بن أبي طالب وهو بالحبشة دارا بمائة ألف فزاده في المسجد. أخبرتنا عفيفة الفارقانية في كتابها عن الحسن بن أحمد عن أحمد بن عبد الله عن جعفر محمد بن الحسن حدثني عبد العزيز بن أبي حبارة عن الضحاك بن عثمان عن أبي النضر عن