أبو محارب قال: قال معاوية بن أبي سفيان: إن عمرو بن العاص قد احتجن عنا خراج مصر، فعزله واستعمل أبا الأعور السلمي، فبلغ عمراً الخبر فدعا وردان مولاه وقال له: ويحك عزلني أمير المؤمنين! قال: فمن استعمل؟ قال: أبا الأعور، قال: دعني وإياه أصنع له طعاماً ولا ينظر في كتابه حتى يأكل، قال: نعم، فلما قدم عليه أخرج الكتاب بتسليم العمل إليه، فقال عمرو: ما تصنع بالكتاب؟ لو جئتنا برسالة لقبلنا ذلك منك، فقال وردان: ضع الكتاب وكل، فقال أبو الأعور لعمرو: انظر في الكتاب، قال: ما أنا بناظر فيه حتى تأكل، فوضعه إلى جانبه وجعل يأكل، فاستدار وردان فاتخذه، فلما فرغ أبو الأعور من غدائه طلب الكتاب فلم يجده فقال: أين كتابي؟ فقال له عمرو: أوليس جئتنا زائراً لنحسن إليك؟ قال: بل استعملني أمير المؤمنين وعزلك! قال: مهلاً لا يظهرن هذا منك فإنه قبيح ونحن نصلك ونحسن إليك، فرضي بالصلة، وبلغ معاوية الخبر فاستضحك وتعجب من فعله وأقرّ عمراً على عمله.
وعن الشعبي قال: كتب المغيرة بن شعبة إلى معاوية، وكان خاف العزل: قد كبرت سني ورق عظمي واقترب أجلي وسفهني سفهاء قريش وأمير المؤمنين أولى بعمله. فكتب إليه معاوية: أما ما ذكرت من كبر سنك فأنت أكلت عمرك، وأما اقتراب أجلك فلو أستطيع دفع الموت عن أحد دفعته عن نفسي وعن آل أبي سفيان، وما ذكرت من سفهاء قريش فحلماؤها أنزلتك هذه المنزلة، وأما العمل فاصبر رويداً يدرك الهيجاء حمل. فاستأذنه في القدوم عليه فأذن له، فوافاه، فقال له معاوية: يا مغيرة كبرت سنك واقترب أجلك ولم يبق منك شيء وسأستبدل بك، فانصرف فرأى أصحابه الكآبة في وجهه فقالوا: ما لك؟ قال: قال لي كيت وكيت، قالوا له: فما تريد أن تصنع؟ قال: ستعلمون، قال: فأتى معاوية فقال له: يا أمير المؤمنين إن الإنسان يغدو ويروح، ولستَ في زمن أبي بكر ولا عمر، فلو أنك نصبت لنا إنساناً نصير إليه بعدك، كان الرأي على أني قد كنت دعوت أهل العراق إلى يزيد، قال: يا أبا محمد انصرف إلى عملك واحكم هذا الأمر لابن أخيك. قال: فأقبل على البريد يركض وقال: قد والله وضعت رجله في ركاب طويل الركض، قال: فذاك هو الذي بعث معاوية على أخذ البيعة ليزيد.