للقاء عمر رضى الله عنه إلى عسفان، وأنكر عليه عمر رضى الله عنه استخلافه لابن أبزى، وعزل نافعا لكونه: استخلف على أهل الله مولى.
وقيل: إن الحارث بن نوفل ـ السابق ذكره ـ ولى مكة لعمر رضى الله عنه.
ثم ولى مكة فى أول خلافة عثمان بن عفان رضى الله عنه: على بن عدى بن ربيعة ابن عبد العزى بن عبد شمس، ثم خالد بن العاص ـ السابق ـ ودامت ولايته إلى أن عزله منها على بن أبى طالب رضى الله عنه.
ووليها لعثمان رضى الله عنه أيضا: الحارث بن نوفل ـ السابق ـ وعبد الله بن خالد ابن أسيد، وهو ابن أخى عتاب، وعبد الله بن عامر الحضرمى. على ما ذكره ابن الأثير.
ووليها أيضا فيما قيل: نافع بن عبد الحارث، السابق ذكره.
ثم ولى مكة فى خلافة على رضى الله عنه: أبو قتادة الأنصارى، حارس رسول اللهصلى الله عليه وسلم بعد عزل خالد بن العاص، ثم قثم بن العباس بن عبد المطلب، ودامت ولايته إلى أن قتل على رضى الله عنه.
وقيل: إن معبد بن العباس بن عبد المطلب وليها لعلى رضى الله عنه.
ثم ولى مكة فى خلاف معاوية بن أبى سفيان: أخوه عتبة بن أبى سفيان، ومروان ابن الحكم بن أبى العاص، وسعيد بن العاص بن سعيد بن العاص، وابنه عمرو بن سعيد، المعروف: بالأشدق، وخالد بن العاص، وعبد الله بن خالد بن أسيد ـ السابق ذكرهما.
ثم ولى مكة فى خلافة يزيد بن معاوية، جماعة، أولهم: عمرو بن سعيد الأشدق، والوليد بن عتبة بن أبى سفيان بن حرب، وعثمان بن محمد بن أبى سفيان الأمويون، والحارث بن خالد بن العاص المخزومى ـ المقدم ذكر أبيه ـ وعبد الرحمن بن زيد بن الخطاب العدوى، ابن أخى عمر رضى الله عنه، ويحيى بن حكيم بن صفوان بن أمية الجمحى.
ثم ولى مكة: عبد الله بن الزبير بن العوام رضى الله عنهما بعد موت يزيد بن معاوية.
وبويع بالخلافة فى الحجاز والعراق واليمن وغير ذلك حتى كادت الأمة تجمع عليه.
ودامت ولايته على مكة حتى استشهد فى جمادى الأولى أو الآخرة سنة ثلاث وسبعين من الهجرة، بعد أن حاصره الحجاج بن يوسف الثقفى أزيد من نصف سنة. وابن الزبير ينتصف منهم وتفضل عليهم.