قال ابن الجوزي كان أبو سعد المخرمي قد بنى مدرسة لطيفة بباب الأزج، ففوضت إلى عبد القادر، فتكلم على الناس بلسان الوعظ، وظهر له صيت بالزهد، وكان له سمت وصمت، وضاقت المدرسة بالناس، فكان يجلس عند سور بغداد مستندا إلى الرباط، ويتوب عنده في المجلس خلق كثير، فعمرت المدرسة، ووسعت، وتعصب في ذلك العوام، وأقام فيها يدرس ويعظ إلى أن توفي.
أنبأني أبو بكر بن طرخان، أخبرنا الشيخ موفق الدين أبو محمد بن قدامة -وسئل عن الشيخ عبد القادر - فقال: أدركناه في آخر عمره، فأسكننا في مدرسته، وكان يعنى بنا، وربما أرسل إلينا ابنه يحيى، فيسرج لنا السراج، وربما يرسل إلينا طعاما من منزله، وكان يصلي الفريضة بنا إماما، وكنت أقرأ عليه من حفظي من كتاب الخرقي غدوة، ويقرأ عليه الحافظ عبد الغني من كتاب " الهداية " في الكتاب، وما كان أحد يقرأ عليه في ذلك الوقت سوانا، فأقمنا عنده شهرا وتسعة أيام، ثم مات، وصلينا عليه ليلا في مدرسته، ولم أسمع عن أحد يحكى عنه من الكرامات أكثر مما يحكى عنه، ولا رأيت أحدا يعظمه الناس للدين أكثر منه، وسمعنا عليه أجزاء يسيرة.
قرأت بخط الحافظ سيف الدين بن المجد، سمعت محمد بن محمود المراتبي، سمعت الشيخ أبا بكر العماد رحمه الله يقول: كنت قرأت في أصول الدين، فأوقع عندي شكا، فقلت: حتى أمضي إلى مجلس الشيخ عبد القادر، فقد ذكر أنه يتكلم على الخواطر، فمضيت وهو يتكلم.
فقال: اعتقادنا اعتقاد السلف الصالح والصحابة. فقلت في نفسي: هذا قاله اتفاقا، فتكلم ثم التفت إلى ناحيتي، فأعاده، فقلت، الواعظ قد يلتفت، فالتفت إلي ثالثة، وقال: يا أبا بكر، فأعاد القول: ثم قال: قم قد جاء أبوك. وكان غائبا، فقمت مبادرا، وإذا أبي قد جاء.