وقال أحمد بن محمد بن عبد البر التاريخي: هو أول من أظهر الحديث بالأندلس، وكان لا يميز صحيحه من سقيمه، ولا يفهم طرقه، ويصحف أسماء الرجال، ويحتج بالمناكير. فكان أهل زمانه لا يرضون عنه، وينسبونه إلى الكذب. قال أحمد بن محمد بن عبد البر: وكان الذي بين عبد الملك بن حبيب وبين يحيى بن يحيى سيئا، وذلك أنه كان كثير المخالفة ليحيى. وكان قد لقي أصبغ بمصر، فأكثر عنه فكان إذا اجتمع مع يحيى بن يحيى، وسعيد بن حسان، ونظرائهما عند الأمير عبد الرحمن وقضاته فسئلوا، قال يحيى بن يحيى بما عنده، وكان أسن القوم وأولاهم بالتقدم - فيدفع عليه عبد الملك بن حبيب بأنه سمع أصبغ بن الفرج يقول كذا. فكان يحيى يغمه بمخالفته له. فلما كان في بعض الأيام جمعهم القاضي في الجامع، فسألهم عن مسألة، فأفتى فيها يحيى بن يحيى، وسعيد بن حسان بالرواية، فخالفهما عبد الملك، وذكر خلافهما رواية عن أصبغ. وكان عبد الأعلى بن وهب من أحداث أهل زمانه، وكان قد حج وأدرك أصبغ بن الفرج بمصر، وروى عنه. فدخل يوما بأثر شورى القاضي فحدثنا أحمد بن خالد عن ابن وضاح عن عبد الأعلى، قال: دخلت يوما على سعيد بن حسان، فقال لي: أبا وهب، ما تقول في مسألة كذا؟ - للمسألة التي س لهم فيها القاضي - هل تذكر لأصبغ بن الفرج فيها شيئا؟ فقلت: نعم، أصبغ يقول فيها كذا، وكذا فأفتى بموافقة يحيى بن يحيى وسعيد بن حسان. فقال لي سعيد: انظر ما تقول، أنت على يقين من هذا؟ قلت: نعم. قال: فأتني بكتابك، فخرجت مسرعا، ثم ندمت ودخل علي الشك. ثم أتيت داري، فأخرجت الكتاب من قرطاس كما رويته عن أصبغ، فسررت، ومضيت إلى سعيد بالكتاب. فقال: تمضي به إلى أبي محمد. فمضيت به إلى يحيى بن يحيى، فأعلمته ولم أدر ما القصة. فاجتمعا بالقاضي وقالا: إن عبد الملك يخالفنا بالكذب. والمسألة التي خالفنا فيها عندك. هنا رجل قد حج وأدرك أصبغ، وروى عنه هذه المسألة، كقولنا على خلاف ما ادعاه عبد الملك، فاردعه وكفه. فجمعهم القاضي ثانيا، وتكلموا، فقال عبد الملك: قد أعلمتك ما يقول فيها أصبغ. فبدر عبد الأعلى بن وهب فقال: يكذب على أصبغ. أنا رويت هذه المسألة عنه على ما قال هذان، وهذا كتابي.