وذكر ابن إسحاق: أنهم أول من اتخذه برهاط بضم الراء قرية جامعة بساحل البحر، "على ثلاثة أميال من مكة في شهر رمضان سنة ثمان" بعد سرية خالد على مفاد التعبير بثم، ولم نر خصوص يوم خروجه، ولا عدة من خرج معه. "قال عمرو" بن العاصي "فانتهيت إليه وعنده السادن، فقال: ما تريد؟ فقلت: أمرني رسول الله صلى الله عليه وسلم أن أهدمه، قال: لا تقدر على ذلك. فقلت: لم؟ قال: تمنع. فقلت" زاد ابن سعد وغيره حتى الآن أنت على الباطل، "ويحك وهل يسمع أو يبصر" حتى يمنعني، "قال: فدنوت منه فكسرته" زاد ابن سعد وغيره وأمرت أصحابي فهدموا بيت خزانته، فلم نجد فيه شيئا، "ثم قلت للسادن: كيف رأيت؟ قال: أسلمت لله،" فهداه رب العالمين.