ثم أقبل سويد على مطرف فقال له: قد ألقينا إلى أمير المؤمنين ما قلت، وهو يقول لك: إنّا لا نرى قريشا أحق بهذا الأمر منا، فكما اختارت قريش أفضلها بعد وفاة رسول الله فكذلك لنا أن نختار أفضلنا.
وانصرف الرجلان، ثم إن مطرفا دعا رجالا من ثقاته ونصحائه فيهم الربيع بن يزيد الأسدي فقال لهم: إنكم نصحائي وأهل مودتي ومن أثق بصلاحه وحسن رأيه، ولم أزل لأعمال هؤلاء الظلمة كارها أنكرها بقلبي، فلما عظمت خطيئتهم، ورأيت هؤلاء يجاهدونهم لم أرهم أولى بمجاهدتهم مني، ولم يسعني إلاّ مخالفتهم ومحاربتهم إن وجدت أعوانا عليهم، ولو كان هؤلاء الخوارج أجابوني إلى الشورى، ولم يركبوا أهواءهم لقاتلت معهم، وخلعت عبد الملك بن مروان والحجاج.
فقال له يزيد بن أبي زياد مولاه: إني لا آمن أن يؤدى ما كان منك إلى الحجاج، ويزاد على كل كلمة مما تتكلم بها عشرة أمثالها، وأرى لك أن تطلب دارا غير المدائن فإن أصحاب شبيب سيتحدثون بما دار بينك وبينهم حتى يفشو خبرك وخبرهم، ونحن مجيبون لك إلى دعوتك. فقال: إني أشهدكم أني قد خلعت عبد الملك بن مروان والحجاج بن يوسف، فمن أحبّ صحبتي فليصحبني ومن أباها فليذهب حيث شاء فإني لا أحب أن يتبعني من لا نية له في جهاد أهل الجور، وأني أدعوكم إلى قتالهم، فإذا جمع الله لنا أمرنا كان هذا الأمر شورى بين المسلمين يرتضون من قريش من أحبوا.
فوثب إليه أصحابه فبايعوه، وأتاه قوم من أهل المدائن فبايعوه أيضا، وارتحل حتى أتى الدسكرة، ثم خرج منها متوجها نحو حلوان وقد صارت معه جماعة يرون رأيه.