عبد الملك في الرملة حتى آلت الخلافة إليه فولاه على العراق بعد وفاة الحجاج، فكره يزيد أن يظل على هذا القطر المتعب المنهوك فنقاه سليمان إلى خراسان ذلك القطر الحبيب إلى نفسه العزيز عليه وعلى آل المهلب جميعاً. فعاد يزيد إلى خرسان وقضى فيها ثلاث سنوات فتح خلالها جرجان وطبرستان. ولكن كوت سليمان قطع على يزيد طريق الفتح والتقدم فقبض عليه عمر بن عبد العزيز لأنه كان يكره آل المهلب لأنهم جبابرة؛ وأودعه السجن، فظل يزيد بن المهلب في السجن حتى توفي عمر، ففر يزيد خوفاً على حياته من يزيد بن عبد الملك وتوجه إلى البصرة وهناك كشر ليزيد بن عبد الملك عن نابه وخلعه ورام الخلافة لنفسه فبايعه الناس على كتاب الله وسنة رسوله، ولكن يزيد بن عبد الملك أرسل إليه أخاه مسلمة في جيش عظيم فاستقبله يزيد بن المهلب وقاتله قتالاً شديداً، فلما استمر القتل بين الفريقين تفرق أصحاب يزيد فقيل له قد انهزم الناس، فقال مم انهزموا؟ فقيل له أحرق الجسر فلم يلبث أحد، فقال قبحهم الله. بق دخن عليه فطار. وكان يزيد لا يحدث نفسه بالفرار وجاء من أخبره أيضاً أن أخاه حبيباً قد قتل، فقال لا خير في العيش بعد حبيب قد كنت والله أبغض الحياة بعد الهزيمة فو الله ما ازددت لها إلى بغضاً. أمضوا قدماً. قال أصحابه إن الرجل قد استقتل. مضى يزيد في قتال أعدائه وصار كلما مر بخيل كشفها. جاءه أحد أصحابه وهو في تلك الساعة الرهيبة والسيف في يده يقطر دماً وقال له: قد ذهب الناس لك أن تنصرف. فقال له يزيد قبح الله رأيك، إلى تقول؟! إذاً الموت أيسر علي من ذلك. فقال له إني أخاف عليك. أما ترى حولك من جبال الحديد. مشيراً إلى جيش مسلمة فقال. أفأنا أباليها جبال الحديد كانت أم جبال النار؟ اذهب عنا إن كنت لا تريد قتالاً معنا. وأقبل يزيد على مسلمة لا يريد غيره حتى إذا دنا منه عصفت عليه خيول أهل الشام فخر صريعاً
وقد كان فوت الموت سهلاً فرده ... إليه الحفاظ المر والخلق الوعر
ونفس تعاف العار حتى كأنه ... هو الكفر يوم الروع أو دونه الكفر
فأثبت في مستنقع الموت رجله ... وقال لها من تحت أخمصك الحشر
حمل رأس البطل القتيل إلى عدوه ووضع بين يديه؛ فأراد أحدهم أن ينتقص البطل حينذاك، فقال له يزيد بن عبد الملك: مه، إن يزيد بن عبد المهلب طلب جسيماً وركب