وقال ابن سعد: أخبرنا محمد بن عمر، حدثنا عبد الله بن جعفر، عن عمته أم بكر، قال: وحدثني شرحبيل بن أبي عون، عن أبيه، وحدثنا ابن أبي الزناد وغيرهم قالوا: لما نزل ابن الزبير بالمدينة في خلافة معاوية، إلى أن قالوا: فخرج ابن الزبير إلى مكة، ولزم الحجر، ولبس المعافري، وجعل يحرض على بني أمية، ومشى إلى يحيى بن حكيم الجمحي والي مكة فبايعه ليزيد، فلم يرض يزيد حتى يؤتى به في جامعة ووثاق، فقال له ولده معاوية بن يزيد: ادفع عنك الشر ما اندفع، فإن ابن الزبير لجوج لا يطيع لهذا أبدا، فكفر عن يمينك، فغضب، وقال: إن في أمرك لعجبا! قال: فادع عبد الله بن جعفر، فاسأله عما أقول.
فدعاه، فقال له: أصاب ابنك أبو ليلى. فأبى أن يقبل، وامتنع ابن الزبير أن يذل نفسه، وقال: اللهم إني عائذ بيتك، فقيل له: عائذ البيت. وبقي لا يعرض له أحد. فكتب يزيد إلى عمرو الأشدق والي المدينة أن يجهز إلى ابن الزبير جندا، فندب لقتاله أخاه عمرو بن الزبير في ألف، فظفر ابن الزبير بأخيه بعد قتال، فعاقبه. وأخر عن الصلاة بمكة الحارث بن يزيد، وقرر مصعب بن عبد الرحمن بن عوف، وكان لا يقطع أمرا دون المسور بن مخرمة، ومصعب بن عبد الرحمن، وجبير بن شيبة، وعبد الله بن صفوان بن أمية، فكان يشاورهم في أمره كله، ويريهم أن الأمر شورى بينهم لا يستبد بشيء منه دونهم ويصلي بهم الجمعة، ويحج بهم بلا إمرة. وكانت الخوارج وأهل الفتن قد أتوه، وقالوا: عائذ بيت الله، ثم دعا إلى نفسه، وبايعوه، وفارقته الخوارج.