وخمسمائة فكفلته أمه وعمته وكان أهله تجارًا بالنحاس ولما ترعرع سمع الحديث وأول مشايخه أبو الفضل بن ناصر وحفظ القرآن وقرأه بالروايات عَلَى جماعة وعني بالطلب وذكر في مشيخته من كبار مشايخه سبعة وثمانين شيخًا من أعيان المذهب وغيرهم ووعظ وهو صغير جدًا وحزر الجمع في أول يوم وعظ فيه بخمسين ألفًا وصحب في الفقه ابن الزاغوني ثم صحب كلا من أبي بكر الدينوري وأبي يعلى الصغير وأبي حكيم النهروائي وقرأ الأدب عَلَى أبي منصور الجواليقي ووعظ في جامع المنصور وغيره سنة سبع وعشرين وخمسمائة واشتهر أمره من ذلك الوقت وأخذ في التصنيف والجمع وعظم شأنه في ولاية الوزير أبي هبيرة ولما ولي المستنجد بالله الخلافة خلع عليه خلعة مع الشيخ عبد القادر وأمثاله وأذن لهم في الجلوس بجامع القصر فتكلم الشيخ أبو الفرج وكان يحزر مجلسه على الدوام بعشرة آلاف وخمسة عشر ألفًا.
وقدم مرة إلى بغداد واعظ يقال له البروي فتعصب في كلام على الحنابلة كثيرًا فلم تطل مدته حتى هلك وكان في تلك الأيام قد تشيع الأسود للشيعة فانبط ووقع ميتًا فجلس الشيخ عقيب ذلك وقال في أثناء كلامه: كم براق مبتدع بأصحاب أحمد وأرعد فحظي هو بالدرهم وهم بالعيش الأرغد وأما أنت يا أبعد فإن أردت أن تموت وإن أردت أن تحرد مات البروي وانبط الأسود وقال له قائل: ما فيك عيب إلا أنك حنبلي فأنشد:
وعيرني الواشون أني أحبها … وتلك شكاة ظاهر لك عارها
وكتب إليه رجل في رقعة والله ما أستطيع أن أراك فقال: أعمش وشمس كيف تراها ثم إذا خلوت في البيت عرست الدر في أرض القراطيس وإذا جلست للناس دفعت بدرياق العلم سموم الهوى أحميكم عن طعام البدع وتأبون إلا التخليط والطبيب مبغوض وأسند للشيخ مدرستان بعد وفاة شيخه النهرواني وفي خلافة المستضيء قوي اتصال الشيخ به وصنف له الكتاب الذي سماه المصباح المضي في دولة المستضي وكتابًا آخر لما خطب له بمصر سماه النصر عَلَى مصر وحظي عنده وحصل له من القبول وحضور الخلفاء في مجالسه ما لا يكاد يوصف ثم بنى مدرسته ودرس بها سنة سبعين وذكر أول يوم تدريسه.