حدثني الأزهري، قال: سمعت أبا عمر بن حيويه يقول: كان شيوخنا يقولون: لو رئي كتاب يعقوب بن شيبة على باب حمام لوجب أن يكتب. قال الأزهري: فكان ذلك في نفسي إلى أن بلغني أنه، أو بعضه، عند ابن الثلاج، فمضيت إليه، وقرأت عليه شيئا منه، ثم ذكرت ذلك لأبي الفتح بن أبي الفوارس، فقال: كذب والله، ما سمعه وإنما صار إليه كتاب لبعض أصحاب الحديث، سماه أبو الفتح، فروى منه، أو كما قال.
سمعت الأزهري يقول: كان ابن الثلاج يضع الحديث على سليمان الملطي، وعلى غيره.
ورأيت الأزهري خرق شيئا من حديث ابن الثلاج، وأخذت بعض أصوله عنه فسألته أن أقرأه عليه فامتنع أشد الامتناع، وقال: لا أحدث عنه، فلم أزل أسأله حتى أذن لي فقرأته عليه، ووهب لي أصله ذلك.
حدثني أحمد بن محمد العتيقي قال: ذكر لي أبو عبد الله بن بكير أن أبا سعد الإدريسي لما قدم بغداد، قال لأصحاب الحديث: إن كان هاهنا شيخ له جموع وفوائد وتخريج فأفيدوني عنه، فدلوه على أبي القاسم ابن الثلاج، فلما اجتمع معه أخرج إليه جمعه لحديث قبض العلم، وإذا فيه: حدثني أبو سعد عبد الرحمن بن محمد الإدريسي حديثا، فقال له الإدريسي: أين سمعت من هذا الشيخ؟ فقال: هذا شيخ قدم علينا حاجا فسمعنا منه، فقال: أيها الشيخ أنا أبو سعد عبد الرحمن بن محمد الإدريسي وهذا حديثي، ووالله ما رأيتك ولا اجتمعت معك قبل هذا الوقت! فخجل ابن الثلاج. قال العتيقي: ثم اجتمعت مع أبي سعد الإدريسي فحدثني بهذه القصة، كما حدثني بها ابن بكير عنه.
حدثني الأزهري قال: توفي أبو القاسم عبد الله بن محمد بن عبد الله ابن الثلاج في شهر ربيع الأول من سنة سبع وثمانين وثلاثمائة، وكان مخلطا في الحديث يدعي ما لم يسمع، ويضع الحديث.