أما نسبه من جهة أمه، فقد ذكر في (تذكرة الحفاظ) أن أبا نعيم هو سبط-[ولد الولد ويغلب إطلاقه على ابن البنت]- محمد بن يوسف البناء، ومحمد بن يوسف البناء هذا كان عابدا، زاهدا، له شهرته في تلك البلاد، وله ذكر في غيرها من بلاد الإسلام والمسلمين، تخرج عليه جماعة من العباد الزهاد، قال عنه أبو نعيم في مقدمته لحلية الأولياء: «فقد كان جدي محمد بن يوسف البناء رحمه اللَّه، أحد من نشر اللَّه عزّ وجلّ به ذكر بعض المنقطعين إليه، وعمّر به أحوال كثير من المقبلين عليه» ، ترجم له ابن الجوزي في (صفة الصفوة) وعدّه من المصطفين من أهل أصبهان. وفي يوم مشرق من أيام رجب عام ست وثلاثين وثلاثمائة، كانت الولادة السعيدة لأبي نعيم، ولد ولادة عادية. دون أن يدري أحد من مستقبل هذا الطفل شيئا، وما أن فتح عينيه إلى النور، حتى رأى الناس جميعا وميض الذكاء فيهما، فتنبئوا له بمستقبل زاهر، إن تمّ له ما يتطلبه هذا الذكاء الفذّ من رعاية وتوجيه. بدت معالم الذكاء على أبي نعيم منذ نعومة أظفاره، ولذلك وجّهه والده الوجهة العلمية، لأن ذلك أحسن ميدان للذكاء، تتفتّح فيه العبقرية، ويعظم الأثر، وفعلا فقد بدأ الغلام بمجالسة العلماء، والسماع منهم في سنّ مبكرة جدا، ولم تمض سنوات حتى ذاع صيته بين العلماء، وامتدت شهرته في الآفاق، وأجاز له مشايخ الدنيا سنة نيف وأربعين وثلاثمائة، وقد كان له من العمر ست سنين. فأجاز له من واسط: المعمر عبد اللَّه بن عمر بن شوذب، ومن نيسابور: شيخها أبو العباس الأصمّ، ومن الشام: شيخها خيثمة بن سليمان الأطرابلسي، ومن بغداد: جعفر الخلدي، وأبو سهل بن زياد، وغيرهم خلق كثير، كلهم من علية القوم ورءوس العلماء، وقد كان بعض هؤلاء الذين أجازوه ممسكا عن الإجازة، ومع ذلك فقد أجازوا لأبي نعيم. قال الذهبي: وأجازه طائفة تفرّد في الدنيا بإجازتهم» . ولم يكن أبو نعيم من الذين يفترون بذكائهم وقوة حافظتهم فيعرضون عن الدّأب، بل كان يرى أن ما وهبه اللَّه من قوة الحافظة نعمة يجب أن يستغلها حق الاستغلال، مؤديا حق اللَّه تعالى فيها، ولذلك كان دائبا على العلم، عاكفا على المطالعة، فلم تكن تراه إلا مدرّسا، أو دارسا، أو مصنّفا، حتى قال عنه أحمد بن محمد بن مردويه: «لم يكن له غذاء سوى التسميع والتصنيف» ، فاجتمعت لأبي نعيم الأسباب الرئيسية التي تحمل الإنسان إلى المراتب، وهي الذكاء، والدأب، واللذة بما يعمل، فقد وصل أبو نعيم فعلا إلى أعلى المراتب العلمية في عصرة، وأطلق عليه ابن كثير في (البداية والنهاية) لقب «الحافظ الكبير» ، فقال: أبو نعيم هو الحافظ الكبير ذو التصانيف المفيدة الكثيرة الشهيرة. وقال عنه ابن خلكان في (وفيات الأعيان) : كان أبو نعيم من أعلام المحدثين وأكابر الحفاظ الثقات. أما الحافظ الذهبي، فقد أطلق عليه «محدّث العصر» فقال: أبو نعيم الحافظ الكبير محدّث العصر ... رحلت الحفاظ إلى بابه لعلمه وحفظ أسانيده. ويقول أحمد بن محمد بن مردويه: كان أبو نعيم في وقته مرحولا إليه، لم يكن في أفق من الآفاق أحد أحفظ منه ولا أسند منه، فإن حفاظ الدنيا قد اجتمعوا عنده، وكل يوم نوبة أحد منهم، يقرأ ما يريده إلى قريب الظهر، فإذا قام أبو نعيم إلى داره، ربما كان يقرأ عليه في الطريق جزءا، وكان لا يضجر. أما الخطيب البغدادي فإنه يقول: لم أر أحدا أطلق عليه اسم الحافظ غير أبي نعيم وأبي حازم العبدري.