وفي سنة ١٧ هـ، لما انهزم الهرموزان يوم سوق الأهواز، هزمه حرقوص بن زهير التميمي، كتب الخليفة عمر إلى أمير البصرة، أن يوفد عليه وفدا من صلحاء جند البصرة عشرة، فيهم الأحنف بن قيس التميمي. فلما قدم الوفد قال عمر للأحنف:
إنك عندي مصدق، قد رأيتك رجلا، فأخبرني إن ظلمت الذمة:
المظلمة نفروا أم لغير ذلك؟
فأجاب الأحنف: لا، بل لغير مظلمة، والناس على ما تحب.
فقال عمر: فنعم؛ إذًا، انصرفوا إلى رحالكم.
فانصرف الوفد إلى رحالهم، ونظر عمر في ثيابهم، فوجد ثوبا قد خرج طرفه من عيبه، فشمه، ثم قال: لمن الثوب؟، فقال الأحنف: إنه لي يا أمير المؤمنين.
قال: فبكم أخذته؟ فذكر الأحنف ثمنا يسيرا.
فقال عمر: فهلا بدون هذا ووضعت فضلته موضعا تغنى به مسلما؟ حصوا وضعوا الفضول مواضعها، تريحوا أنفسكم وأموالكم، ولا تسرفوا فتخسروا أنفسكم وأموالكم.
وعرض الأحنف على الخليفة: إن نفور أهل فارس على المسلمين هو وجود ملكهم بينهم، يبعثهم على النفور، وطلب أن يأذن الخليفة في الانسياح في بلادهم حتى يزيلوا ملكهم، فينقطع رجاؤهم.
فصدق عمر كلامه وأثنى على رأيه وصدقه وإخلاصه.
في سنة ٢٢ هـ عزم يزدجر على خراسان، أتى مرو وحرض أهلها فنكثوا عهودهم وثاروا على الحكم الإسلامي. فخرج الأحنف على رأس جيش وانساح إلى خراسان ثم إلى أصبهان ثم افتتح هراة عنوة وتقدم نحو مرو ومقر يزدجر فخرج هذا منها إلى الروذ. فاحتل الأحنف مرو وتوجه إلى الروذ، ففر منها