أما في أيام الخليفة عمر بن الخطاب - رضي الله عنه - فإن الأحنف كان يعيش في البصرة، بمنزلة مرموقة ولم يكن قد ارتد مع من ارتد من قومه.
قدم الأحنف في أهل البصرة وأهل الكوفة على الخليفة عمر بن الخطاب فتكلموا عنده في أنفسهم وما ينوب كل واحد منهم، ثم تكلم الأحنف - وكان عمره عشرين عاما - فقال: يا أمير المؤمنين، إن مفاتيح الخير بيد الله، وقد أتتك وفود أهل العراق، وإن إخواننا من أهل الكوفة والشام ومصر نزلوا منازل الأمم الخالية والملوك الجبابرة، منازل كسرى وقيصر وبني الأصفر، فهم من المياه العذبة والجنان المختلفة في مثل حولاء السلي وحدقة البعير، تأتيهم ثمارهم غضة لم تخصر، وإنا نزلنا أرضا نشاشة، طرف في فلاة، وطرف في ملح أجاج، جانب منها منابت القصب، وجانب سبخة لا يجف ترابها ولا ينبت مرعاها .. تأتينا منافعها في مثل مري النعامة، يخرج الرجل منا يستعذب الماء من فرسخين، وتخرج المرأة بمثل ذلك، ترنق ولدها وترنق العنز، تخاف عليه العدو والسبع، أفلا ترفع خسيستنا وتنعش وكيستنا وتجبر فاقتنا، وتزيد في عيالنا عيالا وفي رجالنا رجالا، وتصغر درهمنا وتكبر فقيرنا، وتأمر لنا بعض نهر نستعذب به الماء هلكنا. فقال عمر: هذا والله السيد، هذا والله السيد.
فأراد أحد الوافدين أن يضع من الأحنف فقال: يا أمير المؤمنين، إنه ليس هناك، وأمه باهلية.
فقال عمر: هو خير منك، إن كان صادقا.
وقال الأحنف:
أنا ابن الباهلية أرصعتني … بثدي لا آجد ولا وخيم
أغض على القذى أجفان عيني … إلى شر السفيه إلى الحليم
ورجع الوفد واحتبس عمر بن الخطاب - رضي الله عنه - الأحنف عنده عاما وأشهرا، ثم قال له: إن رسول الله - صلى الله عليه وسلم - حذرنا كل منافق، صنع اللسان، وإني خفتك فاحتبستك، فلم يبلغني عنك إلا خير، ورأيت لك جولا ومعقولا، فارجع إلى منزلك، واتق الله ربك.