كما سبق أن والده توفي بعد ولادته بعام، فنشأ يتيمًا وتربى في حجر والدته التي ما لبثت أن تزوجت برجل صالح كان صديقًا
لوالده يسمى الشيخ عيسى المغربي الذي كان متفرغًا لتلقين الناس القرآن بجامع ابن طولون، فعاش أبو حفص في رعايته حتى عُد من أبنائه وكان يدعو الشيخ بوالده، ولقد أحسن في تربيته وحَرِص عليه بالقيام على تعليمه وتأديبه حتى نال هذه المنزلة الرفيعة في ميدان العلم، فغالب الناس لا ينال هذه الرفعة لولا أن هيأ الله له هذا الرجل الصالح الذي قام عليه بالرعاية الكريمة والحفاوة البالغة، فجزاه الله خيرًا على ما قدم له، وأناله موعود نبيه الكريم في كفالة اليتيم.
[بدايته العلمية]
حيث إن الإِمام أبو عمر تربَّى في حجر هذا الرجل الصالح فكان لتوجيهه الأثر الطيب في تحصيله، فقد ابتدأه بتحفيظه للقرآن فحفظه، ثم حفظ عليه عمدة الأحكام وأراد أن يوجهه إلى العناية بمذهب مالك بن أنس رحمه الله ولكن ابن جماعة صديق والده أشار عليه بأن يقرئه في مذهب الشافعي، فدرس:"المنهاج" للنووي حتى حفظه، ثم أسمعه من علماء زمانه ومحدثيهم كابن سَيد الناس، والقطب الحلبي، وسمع بنفسه من الحسن بن سديد الدين وأحمد بن كشتفدني ومحمد بن غالي وغيرهم، واتجه إلى علم الحديث فحببه الله إليه منذ صغره، وسمع من عامة شيوخ عصره حتى قال عن نفسه: سمعت ألف جزء حديثية، وقد رزقه الله الحرص