يكنى أبا سعيد مولى الأزد بصري سمع السفيانين والحمادين ومالكاً وشعبة وعبد العزيز وشريكاً وغيرهم.
روى عنه بن وهب وابن حنبل ويحيى وابن المديني وابنا أبي شعبة وأبو عبيد وأبو ثور وأخرج عنه البخاري ومسلم ولازم مالكاً فأخذ عنه كثيراً من الفقه والحديث وعلم الرجال وله معه حكايات قال بن المديني: كان بن مهدي يذهب إلى قول مالك وكان مالك يذهب إلى قول سليمان بن يسار وكان سليمان يذهب إلى قول عمر بن الخطاب رضي الله عنه وعنا به.
وكان يجالس الشافعي ويصحبه مع أحمد بن حنبل فكان الشافعي يقول لهما: ما صح عندكما من الحديث فأعلماني به لأتبعه لأنكما أعلم بالحديث مني.
ذكر ثناء الناس عليه وذكر فضله: قال علي بن المديني - مرات: أحلف بالله ما بين الركن والمقام إني لم أر أحداً قط أعلم بالحديث من بن مهدي وقال: هو أعلم الناس وقال بن حنبل: بن مهدي من معادن الصدق.