وقرأ الأدب على زكريا التبريزى. وصحب الشيخ حماد الدباس الزاهد، ودرس بمدرسة شيخه المخرمى، وأقام بها إلى أن مات، ودفن بها.
قال ابن الجوزى: كانت هذه المدرسة لطيفة، ففوضت إلى عبد القادر، فتكلم على الناس بلسان الوعظ، وظهر له صيت بالزهد. وكان له سمت وصمت، وضاقت المدرسة بالناس.
وكان يجلس عند سور بغداد مستندا إلى الرباط، ويتوب عنده فى المجلس خلق كثير، فعمرت المدرسة ووسعت، وتعصبت فى ذلك العوام. وأقام فى مدرسته يدرس ويعظ إلى أن توفى.
وذكره ابن السمعانى فقال: إمام الحنابلة وشيخهم فى عصره، فقيه صالح، دين خير، كثير الذكر، دائم الفكر. سريع الدمعة. كتبت عنه. وكان يسكن بباب الأزج فى المدرسة التى بنوا له.
وسمعت أبا الحسين بن التبان الفقيه البغدادى يقول: إن مدرسة عبد القادر كانت للقاضى المخرمى، فلما فوضت إلى عبد القادر أراد أن يوسعها ويعمرها.
فكان الرجال والنساء يأتونه بشئ فشئ إلى أن عمرها، فاتفق أن امرأة مسكينة جاءت بزوجها، وكان زوجها من الفعلة الروزجارية، وقالت لعبد القادر: هذا زوجى، ولى عليه من المهر قدر عشرين دينارا، ووهبت له النصف بشرط أن يعمل فى مدرستك بالنصف الباقى، وقد تراضينا على هذا. فقبل الزوج ذلك وأحضرت المرأة الخط وسلمته إلى عبد القادر. فكان يستعمل الزوج فى المدرسة، وكان يعطيه يوما الأجرة، ويوما لا يعطيه؛ لعلمه بأن الرجل محتاج فقير، ولا يملك شيئا، إلى أن علم أن الزوج عمل بخمسة دنانير، فأخرج عبد القادر الخط، ودفعه إلى الزوج، وقال: أنت فى حل من الباقى.
قلت: ظهر الشيخ عبد القادر للناس، وجلس للوعظ بعد العشرين وخمسمائة وحصل له القبول التام من الناس، واعتقدوا ديانته وصلاحه، وانتفعوا به وبكلامه