ببغداد في الزهد والورع وكثر القراءة، ومعرفة الفقه والحديث، تلا على أبي حفص الكتاني، وقرأ القراءات، ولم يكن يعطي من يقرأ عليه إسنادًا بها.
وقال هبة الله بن المجلي في كتاب "مناقب القزويني": كان يعني كلمة إجماع في الخير، وممن جمعت له القلوب، فحدثني أحمد بن محمد الأمين قال: كتبت عنه مجالس أملاها في مسجده، وكان أي جزء وقع بيده، خرج منه عن شيخ واحد جميع المجلس، ويقول: حديث رسول الله ﷺ لا ينفى. وكان أكثر أصوله بخطه.
وسمعت عبد الله بن سبعون القيرواني يقول: القزويني ثقة ثبت، ما رأيت أعقل منه.
وقيل: إن أبا الحسن علق تعليقة عن أبي القاسم الداركي، وله تعليق في النحو عن ابن جني، سمعت أبا العباس المؤدب وغيره يقولان: إن القزويني سمع: الشاة تذكر الله تعالى. وحدثني هبة الله بن أحمد الكاتب أنه زار قبر ابن القزويني، ففتح ختمةً هناك، وتفاءل للشيخ، فطلع أول ذلك، ﴿وَجِيهًا فِي الدُّنْيَا وَالْآخِرَةِ وَمِنَ الْمُقَرَّبِينَ﴾ [آل عمران: ٤٥].
وروي عن أقضى القضاة الماوردي قال: صليت خلف أبي الحسن القزويني، فرأيت عليه قميصًا نقيًا مطرزًا، فقلت في نفسي: أين الطرز من الزهد؟ فلما سلم، قال: سبحان الله! الطرز لا ينقض حكم الزهد.
وذكر محمد بن حسين القزاز قال: كان ببغداد زاهد خشن العيش، وكان يبلغه أن ابن القزويني يأكل الطيب، ويلبس الرقيق، فقال: سبحان الله! رجل مجمع على زهده وهذا حاله! أشتهي أن أراه. فجاء إلى الحربية، فرآه، فقال الشيخ: سبحان الله! رجل يومأ إليه بالزهد، يعارض الله في أفعاله، وما هنا محرم ولا منكر. فشهق ذلك الرجل، وبكى.
وقال أبو نصر بن الصباغ الفقيه: حضرت عند ابن القزويني، فدخل عليه أبو بكر بن الرحبي، فقال: أيها الشيخ! أي شيء أمرتني نفسي أخالفها؟ قال: إن كنت مريدًا، فنعم، وإن كنت عارفًا، فلا. فانصرفت، وأنا مفكر، وكأنني لم أصوبه، فرأيت ليلتي كأن من يقول لي وقد هالني أمر: هذا بسبب ابن القزويني. وحدثني أبو القاسم عبد السميع الهاشمي، عن عبد العزيز الصحراوي الزاهد قال: كنت أقرأ على القزويني، فجاء رجل مغطى الوجه، فوثب الشيخ إليه، وصافحه، وجلس بين يديه ساعةً، فسألت صاحبي: من هذا؟ قال: تعرفه؟ هذا أمير المؤمنين القادر بالله.
وحدثنا أحمد بن محمد الأمين قال: رأيت الملك أبا كاليجار قائمًا يشير إليه أبو الحسن بالجلوس، فلا يفعل.