دمشق وزوجه من ابنته فاطمة، وفى ربيع الأول سنة ٨٧ هـ/ فبراير - مارس ٧٠٦ م عينه الوليد بن عبد الملك واليا على الحجاز، فاستقر فى المدينة المنوّرة مرة أخرى، وسرعان ما شكل مجلس شورى مخالفا بذلك سنن الولاة الذين لم يشكلوا مثل هذا المجلس بل لقد كلف عمر مجلسه هذا -وكان مكونا من عشرة من المشهود لهم بالعلم والتقوى- بمراقبة معاونيه. وكانت فترة حكمه خيرا على رعاياه إذ كان يراعى مصالحهم دائما، لكن الحجاج بن يوسف الثقفى والى العراق لم يكن سعيدا بطريقة عمر بن عبد العزيز المعتدلة فى الحكم فقد هجر عدد كبير من العراقيين العراق لاجئين إلى المدينة المنورة تخلّصا من عنت الحجاج، فتم استدعاء عمر بن عبد العزيز سنة ٩٣ هـ/ ٧١١ - ٧١٢ م دون إغضابه، وبعد موت سليمان بن عبد العزيز فى دابق بأرض قنسرين فى صفر سنة ٩٩ هـ اتضح أنه عين عمر بن عبد العزيز خليفة له، ذلك أن الفقيه المعروف رجاء بن حيوة بن جدول الكندى -وكان واعظا بليغا موثرا- جمع أفراد البيت الأموى فى المسجد وطلب منهم إعطاء البيعة لمن حدده سليمان بن عبد الملك، ولم يذكر اسمه، فلما قدموا البيعة أعلن لهم وفاة الخليفة واسم عمر بن عبد العزيز الخليفة الجديد، ولكن ولدى سليمان: يزيد وهشام لا يفضلان عمر بن العزيز، لذا لم يكن غريبا أن يعترض هشام فى بداية الأمر على هذا التعيين لكنه -على أية حال- سرعان ما تراجع عن اعتراضه، وولى عمر بن عبد العزيز الخلافة دون اعتراضات خطيرة.
وكان عمر بن عبد العزيز نسيجًا وحده يختلف عن الخلفاء الذين سبقوه والذين لحقوه، فقد دفعته تقواه بأن يكون على وعى كامل بأن اللَّه يراه وبالتالى كان يعى تماما واجباته كحاكم ومسئوليته عن رعاياه. وفى فترة خلافته عاش حياة متقشِّفة تتسم بالبساطة الشديدة رغم أنه كان -قبل توليه الخلافة- يعيش حياة مترفة