فكتب إليه الحجاج: إنك كتبت إلي كتاب أمرئ يحب الهدنة، ويستريح إلى الموادعة، لعمرك يا ابن أم عبد الرحمن، إنك حين تكف عن ذلك العدو تظنني سخي النفس عمن أصيب من المسلمين، وقد رأيت أنه لم يحملك على ما رأيت إلا ضعفك، فامض لما أمرت به من الإيغال في أرضهم، وقتل مقاتليهم، ثم أردفه كتابا آخر: أما بعد، فمر من قبلك من المسلمين أن يحرثوا ويقيموا، فإنها/ دارهم حتى يفتحها الله عز وجل عليهم. ثم أردفه كتابا آخر: أما بعد، فامض لما أمرت به وإلا فخل ما وليت لأخيك إسحاق.
فدعا الناس وقال: إن الذي رأيت وافقني فيه أهل التجارب ورضوه رأيا، وكتبت بذلك إلى الحجاج فجاءني منه كتاب يعجزني ويأمرني بتعجيل الإيغال في البلاد التي هلك فيها إخوانكم بالأمس، وإنما أنا رجل منكم أمضي إذا مضيتم، وآبى إذا أبيتم، فثار إليه الناس، وقالوا: لا بل نأبى على عدو الله ولا نطيعه.
فقام عامر بن واثلة الكناني، فقال: إن الحجاج لا يبالي بكم فإن ظفرتم أكل البلاد، وإن ظفر عدوكم كنتم الأعداء البغضاء فاخلعوه وبايعوا للأمير عبد الرحمن، وإني أشهدكم أني أول خالع. وقام عبد المؤمن بن شبث بن ربعي، فقال: إن أطعتم الحجاج جعل هذه البلاد بلادكم، فبايعوا أميركم وانصرفوا إلى عدو الله الحجاج فانفوه عن بلادكم. فوثب الناس إلى عبد الرحمن فبايعوه، فقال: تبايعونني على خلع الحجاج والنصرة لي وجهاده معي حتى ينفيه الله من أرض العراق، فبايعه الناس، ولم يذكر خلع عبد الملك، وأمر عبد الرحمن الأمراء، وبعث إلى رتبيل فصالحه على أنه إن ظهر فلا خراج عليه أبدا، وإن هزم وأراده ألجأه عنده.
وبعث الحجاج إليه الخيل، وجعل ابن الأشعث على مقدمته عطية بن عمرو العنبري، فجعل لا يلقى للحجاج خيلا إلا هزمها، ثم أقبل عبد الرحمن حتى مر بكرمان، فبعث عليها خرشة بن عمرو التميمي، فلما دخل الناس فارس اجتمع بعضهم إلى بعض، فقالوا: إنا إذا خلعنا الحجاج عامل عبد الملك فقد خلعنا عبد الملك، فاجتمعوا إلى عبد الرحمن وبايعوه، فكان يقول لهم: تبايعونني/ على كتاب الله عز وجل وسنة نبيه محمد صلى الله عليه وآله وَسَلَّمَ، وخلع أئمة الضلالة، وجهاد المحلين، فإذا قالوا: نعم بايع.