قال الإمام ابن الجوزي في كتاب تلبيس إبليس في السبب الذي حمل العرب على عبادة الأصنام: قال هشام الكلبي: حدثني أبي أن إسماعيل عليه السلام لما سكن مكة ولد له أولاد كثير، حتى ملئوا مكة وضاقت عليهم ووقعت بينهم الحروب والعداوات، وأخرج بعضهم بعضاً وانتشروا في البلاد لطلب المعاش، وكان لا يذهب أحد إلا احتمل معه حجراً من حجارة الحرم؛ تعظيماً للحرم وصبابة بمكة، فحيثما نزلوا وضعوه وطافوا به كطوافهم بالبيت حباً للبيت وصبابة به، ثم عبدوا ما استحسنوه ونسوا ما كانوا عليه من دين إبراهيم وإسماعيل عليهما السلام، واستبدلوا به غيره، وعبدوا الأصنام، واستخرجوا ما كان يعبد قوم نوح عليه السلام وصاروا إلى ما كان عليه الأمم من قبلهم، ومع ذلك فيهم بقايا من شريعة إبراهيم وإسماعيل يتمسكون بها، من تعظيم البيت والطواف به والحج والعمرة والوقوف بعرفة، إلى غير ذلك.
ثم يقول: أول من بدل دين إبراهيم عليه السلام عمرو بن لحي.