قال أبو يحيى محمد بن عبد الرحيم: كان علي إذا قدم بغداد، تصدر في الحلقة، وجاء ابن معين، وأحمد بن حنبل، والمعيطي، والناس يتناظرون. فإذا اختلفوا في شيء، تكلم فيه علي.
قال أحمد بن أبي خيثمة: سمعت ابن معين يقول: كان علي ابن المديني إذا قدم علينا، أظهر السنة، وإذا ذهب إلى البصرة أظهر التشيع.
قلت: كان إظهاره لمناقب الإمام علي بالبصرة لمكان أنهم عثمانية، فيهم انحراف على علي.
أخبرنا أبو الحسين اليونيني أخبرنا جعفر، أخبرنا السلفي، أخبرنا المبارك الطيوري أخبرنا الفالي أخبرنا أحمد بن خربان، حدثنا أبو محمد الرامهرمزي حدثنا زنجويه بن محمد النيسابوري بمكة، حدثنا محمد بن إسماعيل البخاري، سمعت علي ابن المديني يقول: التفقه في معاني الحديث نصف العلم، ومعرفة الرجال نصف العلم.
قال أبو العباس السراج: سمعت محمد بن يونس، سمعت علي ابن المديني يقول: تركت من حديثي مائة ألف حديث، منها ثلاثون ألفا لعباد بن صهيب.
وعن البخاري: وقيل له: ما تشتهي؟ قال: أن أقدم العراق، وعلي ابن المديني حي، فأجالسه. سمعها أبو العباس السراج من البخاري.
قال أبو عبيد الآجري: قيل لأبي داود: أحمد بن حنبل أعلم أم علي؟ فقال: علي أعلم باختلاف الحديث من أحمد.
قال عبد المؤمن النسفي: سألت صالح بن محمد: هل كان يحيى بن معين يحفظ؟ فقال: لا إنما كان عنده معرفة. قلت: فعلي؟ قال: كان يحفظ ويعرف.
قال أبو داود: علي ابن المديني خير من عشرة آلاف مثل الشاذكوني.
قال عبد الله بن أبي زياد القطواني: سمعت أبا عبيد يقول: انتهى العلم إلى أربعة: أبو بكر بن أبي شيبة أسردهم له، وأحمد بن حنبل أفقههم فيه، وعلي ابن المديني أعلمهم به، ويحيى بن معين أكتبهم له. قال الفرهياني وغيره من الحفاظ: أعلم أهل زمانه بعلل الحديث علي.