في أربعمائة من مزينة. ثم سكن البصرة، وتحول عنها إلى الكوفة، فوجهه سعد إلى تستر فصالح أهل زندورد. وقدم المدينة بفتح القادسية، وورد حينئذ على عمر اجتماع أهل أصبهان وهمذان والرى وأذربيجان ونهاوند، فأقلقه ذلك،
وشاور أصحاب النبي ﷺ، فقال له على بن أبى طالب:
ابعث إلى أهل الكوفة فيسير ثلثاهم ويبقى ثلثهم على ذراريهم، وابعث إلى أهل البصرة. قال: فمن أستعمل عليهم، أشر علي. فقال: أنت أفضلنا رأيا وأعلمنا. فقال: لأستعملن عليهم رجلا يكون لها. فخرج إلى المسجد، فوجد النعمان بن مقرن يصلى فيه، فسرحه وأمره، وكتب إلى أهل الكوفة بذلك.
وقد روى: أنه كتب إلى النعمان بن مقرن يستعمله ليسير بثلثي أهل الكوفة وأهل البصرة، وقال: إن قتل النعمان فحذيفة وإن قتل حذيفة فجرير.
فخرج النعمان ومعه حذيفة، والزبير، والمغيرة بن شعبة، والأشعث بن قيس، وعبد الله بن عمر، كلهم تحت رايته، وهو أمير الجيش، ففتح الله عليه أصبهان، فلما أتى نهاوند قال النعمان: يا معشر المسلمين، شهدت رسول الله ﷺ إذا لم يقاتل أول النهار أخر القتال حتى تزول الشمس، وتهب الرياح، وينزل النصر، اللهم ارزق النعمان شهادة بنصر المسلمين، وافتح عليهم، فأمن المسلمون.
وقال لهم: إن أهز اللواء ثلاث مرات، فإذا هززت الثالثة فاحملوا، ولا يلوى أحد على أحد، وإن قتل النعمان فلا يلوى عليه أحد، فلما هز اللواء الثالثة حمل، وحمل معه الناس، فكان أول صريح، وأخذ الراية حذيفة، ففتح الله عليهم. وكانت وقعة نهاوند سنة إحدى وعشرين، وكان قتل النعمان بن مقرن يوم جمعة، ولما جاء نعيه عمر بن الخطاب خرج، فنعاه إلى الناس على المنبر، ووضع يده على رأسه يبكى.