بنيت الكعبة خلال الدهر كله، أربع مرات بيقين، ووقع الخلاف والشك فيما قبل هذه المرات الأربع وبعدها.
أما المرة الأولى منها: فهي التي قام بأمر البناء فيها نبي الله إبراهيم عليه الصلاة والسلام يعينه ابنه إسماعيل عليه الصلاة والسلام، وذلك استجابة لأمر الله، وقد ثبت ذلك بصريح القرآن والسنة.
قال الله تعالى: وَإِذْ يَرْفَعُ إِبْراهِيمُ الْقَواعِدَ مِنَ الْبَيْتِ وَإِسْماعِيلُ رَبَّنا تَقَبَّلْ مِنَّا إِنَّكَ أَنْتَ السَّمِيعُ الْعَلِيمُ (البقرة: ١٢٧)
وفي الحديث:« ... ثم قال- أي إبراهيم-: يا إسماعيل، إن الله أمرني بأمر، قال: فاصنع ما أمرك ربك، قال: وتعينني؟ قال: وأعينك، قال: فإن الله أمرني أن أبني هاهنا بيتا، وأشار إلى أكمة مرتفعة على ما حولها، قال: فعند ذلك رفعا القواعد من البيت، فجعل إسماعيل يأتي بالحجارة وإبراهيم يبني، حتى إذا ارتفع البناء، جاء بهذا الحجر فوضعه له فقام عليه، وهو يبني وإسماعيل يناوله الحجارة، وهما يقولان: «ربنا تقبل منا إنك أنت السميع العليم» قال: فجعلا يبنيان حتى يدورا حول البيت، وهما يقولان:«ربنا تقبل منا إنك أنت السميع العليم» . رواه البخاري في كتاب الأنبياء (٦٤) باب (يزفون) / الصافات ٩٤/ النسلان في المشي (١٢) حديث رقم (٣١٨٤) ، عن ابن عباس، ج ٣، ص ١٢٣٠.
وأما المرة الثانية: فهي تلك التي بنتها قريش قبل الإسلام، واشترك النبي صلّى الله عليه وسلم في بنائها، وقصّرت النفقة بقريش فلم يتمموا البناء على قواعد إبراهيم عليه السلام.
وفي ذلك يقول النبي صلّى الله عليه وسلّم:«يا عائشة، لولا أن قومك حديثو عهد بجاهلية، لأمرت بالبيت فهدم، فأدخلت فيه ما أخرج منه، وألزقته بالأرض، وجعلت له بابين بابا شرقيا وبابا غربيا، فبلغت به أساس إبراهيم» .