قال أبو حاتم: كان يكذب، وكان لا يصدق، تُرك حديثه. وقال العقيلي: كان يضع الحديث على الثقات. وروى القاسم بن عبد الرحمن الأنباري، عن ابن معين، وسأله عن السِّمسار أهو كذاب؟ فقال: لا أعرفه كذابًا، ولكنه شيخ قد خَرِف.
قلت: هذه رواية شاذة، وأكثر الرواة عن ابن معين نَقَلوا عنه تكذيبه.
وقال ابن عدي: سمعت أبا يعلى الموصلي يقول: ذُكر ليحيى بن معين وأنا حاضر: السمسارُ، فكأنه وقف عنه وقال: كان جاري، لا يُحمل عن مثله الحديث.
وقال مهنأ، عن أحمد: ليس بثقة، ولا يكتب حديثه. وقال النقَّاش: روى الموضوعات عن الأعمش ومسعر وداود بن أبي هند وغيرهم.
وقال عبد الله بن أحمد: حدثنا هارون بن سفيان المستَمْلي قال: سألت عبيد الله بن موسى، عن يحيى بن هاشم فقال: عمن يحدِّث؟ قلت: عن إسماعيل بن أبي خالد، والأعمش، قال: فقَدْتُه، إنما كان يختلف إلى حمزة يقرأ عليه وهو غلام.
وقال ابن عدي: يروي المناكير عن الثقات، ويسرق حديث الثقات، وهو متهم أنه لم يلق هؤلاء، وعامَّة حديثه مناكير وموضوعات ومسروقات.
وأورد له من طريق أحمد بن الوليد، عنه، عن شعبة، أظنه عن الحَكَم، عن إبراهيم، عن علقمة: خَطَبنا علي فذكر حديث: "لا يزني الزاني … " فزاد فيه: "قيل: يا أمير المؤمنين، فهو كافر؟ قال: لا، إنما قال: لا يزني الزاني إذا قال: هو حلالٌ لي … " الحديث.