فكان إسماعيل يجيء بالحجارة وإبراهيم يبني، إلى أن ارتفع البناء، وفي إحدى الروايات عن رفع القواعد، أن إسماعيل عندما كان يأتي لأبيه بالأحجار وجد عنده حجرا أسود، فسأله: من جاءك بهذا الحجر؟ فقال إبراهيم: من لم يكلني إليك ولا إلى حجرك، وتذهب هذه الرواية إلى أن جبريل عليه السلام هو الذي جاء بالحجر الأسود.
وللحجر الأسود في الكعبة إجلال طوال أزمان ما قبل الإسلام، وقصة إعادة بناء الكعبة زمن الرسول الكريم قبل النبوة، ورفع الحجر الأسود في ثوب يمسك به نفر من كل قبيلة من القبائل المتناحرة، قصة معروفة، وفيها تأكيد لأهمية هذا الحجر.
وقد روي عن عمر بن الخطاب قوله: وهو يقبل الحجر الأسود حين طوافه بالبيت: "إنك حجر لا تضر ولا تنفع، والله لولا أني رأيت رسول الله يقبلك ما قبلتك".
وما يزال المسلمون حتى آخر الأيام يستهلون طوافهم بالبيت العتيق من موضع الحجر الأسود مهللين مكبرين داعين الله.