الرازيّ: كان عليٌّ علمًا في الناس في معرفة الحديث والعلل، وكان أحمد لا يسميه، إنما يكنيه تبجيلًا له، وما سمعت أحمد سماه قط. وقال ابن عُيَيْنة: يلومونَنيِ على حبِّ عليّ، والله لقد كنت أتعلم منه أكثر مما يتعلم مني. وكان ابن عيينة يسميه حَيَّة الوادي وإذا استثبت سفيان أو سئل عن شيء يقول: لو كان حية الوادي، أو قال: لولا علي ما جلست. وقال ابن زنْجَلة: كنا عند ابن عُيينة، وعنده رؤساء أصحاب الحديث، فقال: الرجل الذي روينا عنه أربعة أحاديث، الذي يحدث عن الصحابة؟ فقال عليّ بن المَدينيّ: زيادُ بن عُلاقة، فقال ابن عُيينة: زياد بن علاقة؟ وقال حفص بن محبوب المحبوبي: كنا عند ابن عيينة، فقام ابن المَدينيّ، فقام سفيان، وقال: إذا قامت الخيل، لم تجلس الرَّجَّالة.
وقال عبد الرحمن بن مَهْديّ: علي ابن المَدينيّ أعلم الناس بحديث رسول الله -صلى الله عليه وسلم-، وخاصة بحديث ابن عُيينة. وقال عباس العَنْبريّ: كان يحيى ابن سعيد يقول: إني قلت لا أحدث إلى كذا، استثنيت علي بن المَدينيّ. وكنا نستفيد منه أكثر مما يستفيد منا. وقال ابن مَعين: عليّ بن المَدينيّ من أروى الناس عن يحيى بن سعيد أنه أرى عنده أكبر من عشرة آلاف، قيل ليحيى: أكثر من مُسَدِّد؟ قال: نعم، إن يحيى بن سعيد كان يكرمه ويدنيه، وكان صديقه وكان علي يلزمه. وقال أبو قُدامَة السَّرخَسيّ: سمعت علي بن المَدينيّ يقول: رأيت فيما يرى النائم كان الثُّريَّا تدلت حتى تناولتها، قال أبو قدامة: فصدق الله رؤياه.
بلغ في الحديث مبلغًا لم يبلغه أحد، وقال أبو عبد الرحمن النَّسائي: كأن الله عَزَّ وَجَلَّ، خلق علي بن المَدينيّ لهذا الشأن، وقال العباس العَنْبريّ: لقد بلغ علي بن المَدينيّ ما لو قضي أن يتم عليه لعله كان يُقدَّم على الحسن البصري، كان الناس يكتبون قيامه وقعوده، ولباسه وكل شيء يقولُ ويفعل. وقال بكر بن خَلَف: قَدمت مكة وبها شابٌّ حافظ، وكان يذاكرني المسند بطرقه، فقلت له: من أين لك هذا؟ فقال: طلبت إلى عليّ بن المَدينيّ أيام