وروى عنه ابنه محمد، وشعبة، وهو أكبر منه، وأبو معاوية، ووكيع، ومعاذ بن معاذ، والنضر بن شُميل، وحجاج بن محمد، وغيرهم.
قال أَبو داود عن أحمد: إذا حَدّث عن الشاميين فليس به بأس، ولكنه حدث عن يحيى بن سعيد مناكير. وقال أيضًا عنه: يُحَدّث عن ثقاتٍ أحاديث مناكير. وقال ابن أبي خيثمة عن ابن معين: ضعيف الحديث. وقال ابن الجنيد: قال رجل لابن معين: أيما أعجب إليك إسماعيل بن عياش، أو فرج بن فضالة؟ قال: لا، بل إسماعيل، ثم قال: فرج ضعيف الحديث، وأَيْشٍ عند فرج؟. وقال عثمان الدارمي عن ابن معين: ليس به بأس. وقال الفلاس عن ابن معين: صالح. وقال ابن أبي شيبة عن ابن المديني: هو وسط، وليس بالقوي. وقال عبد الله بن المديني عن أبيه: ضعيف، لا أحدث عنه. وقال البخاري ومسلم: منكر الحديث. وقال النسائي: ضعيف. وقال أَبو حاتم: صدوق يُكتب حديثه، ولا يحتج به، حديثه عن يحيى بن سعيد فيه نكارة، وهو في غيره أحسن حالًا، وروايته عن ثابت لا تصح.
وقال الحاكم أَبو أحمد: حديثه ليس بالقائم. وقال ابن عديّ: وهذه الأحاديث التي أمليتها غير محفوظة، وحديث يحيى بن سعيد عن عمرة لا يرويها عن يحيى غير فرج، وله عن يحيى غيرها مناكير، وله غيرما أمليتُ أحاديث صالحة، وهو مع ضعفه يُكتب حديثه. وقال الدارقطني: ضعيف الحديث، يروي عن يحيى بن سعيد أحاديث لا يُتَابَع عليها. وقال الْبَرْقاني: قلت للدارقطني: حديثه عن يحيى بن سعيد، عن محمد ابن علي، عن علي، عن النبي صلى الله عليه وسلم:"إذا عَمِلَت أمتي خمس عشرة خصلة ... " الحديث؟ فقال: هذا باطل، قلت: من جهة الفرج؟ قال: نعم، قلت: يُخَرَّج هذا الحديث؟ قال: لا، قلت: فحديثه عن لقمان بن عامر، عن أبي أمامة؟ قال: هذا كأنه قريب، يُخَرَّج. وقال عمرو بن علي: سمعت عبد الرحمن بن مهدي يقول: حَدّث فرج بن فضالة عن أهل الحجاز بأحاديث منكرة مقلوبة، قال: وكنا عند يحيى بن سعيد، فقال معاذ: حدثنا فرج ابن فضالة، فرأيت يحيى كَلَحَ وجهه. وقال الساجي: ضعيف الحديث، روى عن يحيى