وقدم بغداد، وحدث بها، فروى عنه أحمد بن حنبل وابنه صالح، وابن عمه حنبل بن إسحاق، والحسن بن محمد الزعفراني، وأحمد بن منصور الرمادي، وإسماعيل بن إسحاق القاضي، وأبو قلابة الرقاشي، ومُحَمد بن يحيى الذهلي، وأبو يحيى صاعقة، والفضل بن سهل الأعرج، ومُحَمد بن إسحاق الصاغاني، ومُحَمد بن إسماعيل البخاري، وأبو حاتم الرازي، وعلي بن أحمد بن النضر الأزدي، وأبو شعيب الحراني، ومُحَمد بن أحمد بن البراء، وأبو علي المعمري.
وقال أبو حاتم الرازي: كان علي علما في الناس في معرفة الحديث والعلل، وكان أحمد لا يسميه، إنما يكنيه تبجيلا له، قال: وما سمعت أحمد سماه قط.
أخبرني محمد بن أحمد بن رزق، قال: أخبرنا أحمد بن إسحاق بن وهب البندار، قال: حدثنا أبو غالب علي بن أحمد بن النضر، قال: سنة إحدى وستين فيها ولد علي ابن المديني.
. قلت: وكان مولده بالبصرة.
أخبرنا أبو سعد الماليني، قال: أخبرنا عبد الله بن عدي الحافظ، قال: حدثنا عبد الله بن محمد بن ناجية، وعلي بن أحمد بن مروان، ومُحَمد بن خالد بن يزيد البرذعي، قالوا: حدثنا أبو رفاعة عبد الله بن محمد العدوي، قال: حدثنا إبراهيم بن بشار، قال: سمعت سفيان بن عيينة يقول: حدثني علي ابن المديني، عن أبي عاصم، عن ابن جريج، عن عمرو بن دينار، فذكر حديثا، ثم قال سفيان: تلومني على حب علي؟ والله لقد كنت أتعلم منه أكثر مما يتعلم مني.