قال يحيى: لا بد لي. فأخذ ورقة، فكتب فيها ثلاثين حديثا وجعل على رأس كل عشرة منها حديثا ليس من حديثه، ثم إنهم جاءوا إلى أبي نعيم، فخرج، وجلس على دكان طين، وأخذ أحمد بن حنبل، فأجلسه عن يمينه، ويحيى عن يساره، وجلست أسفل الدكان، ثم أخرج يحيى الطبق، فقرأ عليه عشرة أحاديث، فلما قرأ الحادي عشر، قال أبو نعيم: ليس هذا من حديثي، اضرب عليه، ثم قرأ العشر الثاني، وأبو نعيم ساكت، فقرأ الحديث الثاني، فقال أبو نعيم: ليس هذا من حديثي فاضرب عليه، ثم قرأ العشر الثالث، ثم قرأ الحديث الثالث، فتغير أبو نعيم، وانقلبت عيناه، ثم أقبل على يحيى، فقال: أما هذا -وذراع أحمد بيده- فأورع من أن يعمل مثل هذا، وأما هذا -يريدني- فأقل من أن يفعل ذاك، ولكن هذا من فعلك يا فاعل وأخرج رجله، فرفس يحيى، فرمى به من الدكان، وقام، فدخل داره.
فقال أحمد بن حنبل ليحيى: ألم أمنعك وأقل لك: إنه ثبت، قال: والله، لرفسته لي أحب إلي من سفرتي.
قال حنبل: سمعت أبا عبد الله يقول: شيخان كان الناس يتكلمون فيهما ويذكرونهما، وكنا نلقى من الناس في أمرهما ما الله به عليم، قاما لله بأمر لم يقم به كبير أحد: عفان وأبو نعيم.
قال أبو العباس السراج عن الكديمي قال: لما دخل أبو نعيم على الوالي ليمتحنه، وثم يونس وأبو غسان وغيرهما، فأول من امتحن فلان، فأجاب، ثم عطف على أبي نعيم، فقال: قد أجاب هذا، فما تقول؟ فقال: والله ما زلت أتهم جده بالزندقة، ولقد أخبرني يونس بن بكير أنه سمع جده يقول: لا بأس أن يرمي الجمرة بالقوارير. أدركت الكوفة وبها أكثر من سبعمائة شيخ، الأعمش فمن دونه يقولون: القرآن كلام الله وعنقي أهون من زري هذا، فقام إليه أحمد بن يونس، فقبل رأسه -وكان بينهما شحناء- وقال: جزاك الله من شيخ خيرا.