اختلاف أصحابنا فيه منهم من أنكر عليه كثرة الخطأ، والغلط، ومنهم من أنكر عليه تماديه في ذلك، وتركه الرجوع عما يخالفه فيه الناس، ولجاجته فيه، وثباته على الخطأ، ومنهم من تكلم في سوء حفظه، واشتباه الأمر عليه في بعض ما حدث به من سوء ضبطه، وتوانيه عن تصحيح ما كتبه الوراقون له، ومنهم من قصته عنده أغلظ من هذا، وقد كان ﵀ من أهل الدين والصلاح والخير البارع، شديد التوقي، لكن للحديث آفات تفسده.
قال عباد بن العوام: ليس ينكر عليه أنه لم يسمع، ولكنه كان رجلا موسرا، وكان الوراقون يكتبون له، فنراه أتي من كتبه التي كتبوها.
وقال وكيع: ما زلنا نعرفه بالخير، فقال له خلف بن سالم: إنه يغلط في أحاديث، قال: دعوا الغلط، وخذوا الصحاح، فإنا ما زلنا نعرفه بالخير.
وقال عفان: قدمت أنا وبهز واسط فدخلنا على علي بن عاصم فقال: من بقي من أهل البصرة؟ فلم نذكر له إنسانا إلا استصغره. فقال بهز: ما أرى هذا يفلح.
وقال أحمد بن إبراهيم بن حرب: سمعت علي بن عاصم يقول: أعطاني أبي مائة ألف درهم فأتيته بمائة ألف حديث قال: وكنت أردف هشيم بن بشر خلفي ليسمع معي.
وقال عبد الله بن أحمد، عن أبيه: كان يغلط ويخطئ، وكان فيه لجاج، ولم يكن متهما بالكذب.
وقال الذهلي: قلت لأحمد في علي بن عاصم، وذكرت له خطأه، فقال أحمد: كان حماد بن سلمة يخطئ، وأومأ أحمد بيده خطأ كثيرا، ولم ير بالرواية عنه بأسا.
وقال ابن المديني: كان كثير الغلط، وكان إذا غلط فرد عليه لم يرجع.
وقال: بلغني أن ابنه قال له: هب لي من حديثك عشرين حديثا، فأبى.
قال يعقوب بن شيبة: يعني: مما أنكر عليه الناس.
وقال ابن المديني أيضا: أتيته بواسط فذكرت جريرا فقال: لقد رأيته ناعسا ما يعقل ما يقال له. ومر ذكر أبي عوانة فقال: وضاح ذاك العبد، ومر ذكر ابن علية فقال: ما رأيته يطلب حديثا قط. وذكر شعبة فقال: ذاك المسكين كنت أكلم له خالدا الحذاء حتى يحدثه.
وقال صالح بن محمد: ليس هو عندي ممن يكذب، ولكن يهم، وهو سيئ الحفظ كثير الوهم يغلط في أحاديث يرفعها، ويقلبها، وسائر حديثه صحيح مستقيم.
وقال علي بن شعيب: حضرت يزيد بن هارون، وهم يسألونه: متى سمعت من فلان؟ وهو يخبرهم قالوا له: فعلي بن عاصم؟ قال: كانت حلقته بحيال حلقة هشيم، قيل له: كان يغمز أو يتكلم فيه بشيء إذ ذاك؟ قال: معاذ الله، ولكنه كان لا يجالسهم، فوقع في كتبه الخطأ.
وقال العقيلي: حدثنا جعفر بن محمد سمعت عثمان بن أبي شيبة يقول: كنا عند يزيد بن هارون أنا وأخي أبو بكر فقلنا: يا أبا خالد علي بن عاصم أيش حاله عندكم؟ فقال: ما زلنا نعرفه بالكذب.
وحكي عن يزيد بن هارون فيه خلاف هذا، وأورد له الخطيب حديثه عن محمد بن سوقة عن إبراهيم عن الأسود عن عبد الله مرفوعا: من عزى مصابا فله مثل أجره، وقال: إنه أنكر عليه، ثم أورد من طريق وكيع عن قيس بن الربيع، وإسرائيل كلاهما عن محمد بن سوقة مثله، ولكن الإسناد إلى وكيع غير ثابت.
وقال يعقوب بن شيبة في الحديث المذكور: هذا حديث كوفي منكر، يرون أنه لا أصل له، لا نعلم أحدا أسنده ولا أوقفه غير علي بن عاصم. وقد رواه أبو بكر النهشلي، وهو صدوق ضعيف الحديث عن محمد بن سوقة فلم يجاوز به محمدا، وقال: يرفع الحديث. قال يعقوب: وهذا الحديث من أعظم ما أنكره الناس على علي بن عاصم، وتكلموا فيه مع ما أنكر عليه سواه.
قال يعقوب: وسمعت إبراهيم بن هاشم يقول: إن رجلا قال لابن عيينة: إن علي بن عاصم حدث عن محمد بن سوقة، فذكر الحديث، فلم ينكر سفيان الحديث، وقال: محمد بن سوقة: لم يحفظ عن إبراهيم شيئا.