وكان في أيام الحداثة يتعلَّم في الصاغة، فنصحه بعض العلماء لما شاهد فرط ذكائه، وأشار عليه بطلب العلم، فهشَّ لذلك، وأقبل على الطلب.
حدَّث عنه: ابن منده، والحاكم، وأبو طاهر بن محمش، وأبو عبد الرحمن السلمي، وعدة. وقد حدَّث عنه الإمامان أبو بكر الصبغي، وأبو الوليد حسان بن محمد، وهما أكبر منه.
وتلمذ له: الحاكم، وتخرج به، وقال: هو واحد عصره في الحفظ والإتقان، والورع، والمذاكرة والتصنيف، سمع إبراهيم بن أبي طالب، ثم سرد شيوخه.
وعن أبي الحافظ قال: رحلت إلى هراة في سنة خمس وتسعين، وحضرت أبا خليفة الجمحي، وهو يهدد وكيلًا ويقول: تعوّد يا لكع، فقال: لا أصلحك الله، فقال: بل أنت لا أصلحك الله، قم عني.
قال الحاكم: كنت أرى أبا علي الحافظ معجبًا بأبي يعلى الموصلي وبإتقانه، وقال: كان لا يخفى عليه شيء من حديثه إلَّا اليسير، ولولا اشتغاله بسماع كتب القاضي أبي يوسف من بشر بن الوليد الكندي؛ لأدرك بالبصرة أبا الوليد الطيالسي، وسليمان بن حرب.
قال الحاكم: كان أبو علي باقعة في الحفظ لا تطاق مذكراته، ولا يفي بمذكراته أحد من حفَّاطنا، وقد خرج إلى بغداد ثاني مرة في سنة عشر وثلاث مائة، وقد صنَّف وجمع، فأقام ببغداد، وما بها أحد أحفظ منه إلَّا أن يكون الجعابي، فإني سمعت أبا علي يقول: ما رأيت ببغداد أحفظ من الجعابي، وسمعت أبا علي يقول: كتب عني أبو محمد بن صاعد غير حديث في المذاكرة، وكتب عني ابن جوصا بدمشق جملة.
قال الحافظ أبو بكر بن أبي دارم: ما رأيت ابن عقدة يتواضع لأحد من الحفَّاظ كما يتواضع لأبي علي النيسابوري.
قال الحاكم: وسمعت أبا علي يقول: اجتمعت ببغداد مع أبي أحمد العسال، وأبي إسحاق بن حمزة، وأبي طالب بن نصر، وأبي بكر الجعابي، وأبي أحمد الزيدي، فقالوا لي: أملَّ من حديث نيسابور مجلسًا، فامتنعت، فما زالوا بي حتى أمليت عليهم ثلاثين حديثًا، فما أجاب واحد منهم في حديث منها سوى ابن حمزة في حديث واحد.
قال أبو عبد الرحمن السلمي: سألت الدارقطني عند أبي علي النيسابوري، فقال: إمام مهذَّب.