لقد كان الحجاج يخشى من ظهور أشج بني أمية الذي يعدل، ولما تأكد له أنه عمر بن عبد العزيز حقد عليه حقدا شديدا، وصار يتحين الفرصة المناسبة للإيقاع به عند الخليفة، وقد واتته تلك الفرصة، وذلك أنه بعد زيارة الوليد للمدينة غضب أهلها عليه لأسباب كثيرة منها: أنه جرهم وراءه مشيا لدعوتهم إلى الفداء بذي خشب، ومنها أنه أراد إخلاء المسجد من الناس حتى يكون له وحده ساعة دخوله، ومنها أنه وزع الأموال على الأغنياء وترك الفقراء، فعندما علم أهل العراق بغضب أهل المدينة لجئوا إليهم فارين من ظلم الحجاج بن يوسف الثقفي، وزاد الأمور تعقيدا أن الوليد جعل الحجاج أميرا على الحج فكان لا بد من مروره على المدينة وأهل المدينة لا يحتملون رؤيته ففزعوا إلى عمر في ذلك، فكتب إلى الوليد بتنحية الحجاج عن طريق المدينة وعدم مروره عليها فقبل الوليد خوفا من ثورة الناس.
فكانت فرصة الحجاج بأن كتب إلى الوليد بعد ذلك أن كثيرا من أهل العراق ومراقيه قد لجئوا إلى المدينة ومكة وأن ذلك وهن وضعف، وما زال الحجاج بالوليد حتى أوغر صدره على عمر فقرر عزله عن إمارة المدينة.