قال أبو حاتم: كان علمًا فى الناس فى معرفة الحديث والعلل، وكان أحمد لا يسميه إنما يكنيه تبجيلاً له. وعن ابن عيينة: أنى لأرغب بنفى عن مجالستكم منذ ستين سنة، ولولا على بن المدينى ما جلست. وعن الأعين: رأيت على بن المدينى مستلقيًا وأحمد ابن حنبل عن يمينه، ويحيى بن معين عن يساره، وهو يملى عليهما. وعن يحيى بن معين: كان على بن المدينى إذا قدم علينا أظهر السنة، وإذا ذهب إلى البصرة أظهر التشيع. وعن محمد بن يونس يقول: سمعت ابن المدينى يقول: تركت من حديثى مائة ألف حديث، منها ثلاثون ألفًا لعباد بن صهيب. وفى الميزان: ذكره العقيلى فى كتاب الضعفاء، فبئس ما صنع، فقال: جنح إلى ابن أبى داود الجهمية، وحديثه مستقين إن شاء الله تعالى. قال لى عبد الله بن أحمد: كان أبى حدثنا عنه، ثم أمسك عن اسمه، وكان يقول: حدثنا رجل، ثم ترك حديثه بعد ذلك.
قلت: بل حديثه عنه فى مسنده، وقد تركه إبراهيم الحربى، وذلك لميله إلى أحمد بن أبى داود، فقد كان محسنًا إليه، وكذا امتنع مسلم من الرواية عنه فى صحيحه لهذا المعنى، كما امتنع أبو زرعة وأبو حاتم من الرواية عن تلميذه محمد لأجل مسألة اللفظ. وقال عبد الرحمن بن أبى حاتم: كان أبو زرعة ترك الرواية عن على من أجل ما كان منه فى المحنة، ووالدى كان يروى عنه لنزوعه عما كان منه، وقد بدت منه هفوة، ثم تاب منها. وهذا أبو عبد الله البخارى، وناهيك به، قد شحن صحيحه بحديث على بن المدينة، وقال: ما استصغرت نفسى بين يدى أحد إلا بين يدى على بن المدينى، ولو ترك حديث على وصاحبه محمد وشيخه عبد الرزاق وعثمان بن أبى شيبة، وإبراهيم بن سعد، وعفان، وأبان العطار، وإسرائيل، وأزهر السمان، وبهز بن أسد، وثابت البنانى، وجرير بن عبد الحميد، لغلقنا الباب وانقطع الخطاب، ولماتت الآثار واستولت الزنادقة ويخرج الدجال، أفما لك عقل يا عقيلى؟! أتدرى فيمن تتكلم؟! كأنك لا تدرى أن كل واحد من هؤلاء أوثق منك بطبقات، بل وأوثق من ثقات كثير ممن لم توردهم فى كتابك، فهذا مما لا يرتاب فيه محدث، ثم إنه ليس من شرط الثقة أن يكون معصومًا من الخطايا والخطأ، فعلى بن المدينى إليه المنتهى فى معرفة علل الحديث النبوى، مع كمال المعرفة بنقد الرجال، وسعة الحفظ، والتبحر فى هذا الشأن، بل لعله فرد زمانه فى معناه، وقد أدرك حماد بن زيد وصنف التصانيف، وهو تلميذ يحيى بن سعيد القطان، ويقال: لابن المدينى نحو من مائتى مصنف. قال البخارى: مات فى ذى القعدة سنة أربع وثلاثين ومائتين بسامراء. وقال يعقوب بن سفيان: سنة خمس وثلاثين ومائتين فيها مات على بن المدينى، وأبو بكر بن أبى شيبة. وروى له الترمذى، والنسائى، وابن ماجه فى التفسير، وأبو جعفر الطحاوى.