ثم انتقل مع والده أحمد إلى قرية "الجاضع" التابعة لمدينة "سامطة" في نفس المنطقة، وهو ما يزال صغيرا؛ لأن أكثر مصالح والده -من أراض زراعية ومواش ونحوهما- كانت هناك، وإن بقيت أسرته الصغيرة تنتقل بين قريتي "السلام" و"الجاضع" لظروفها المعيشية.
ونشأ حافظ في كنف والديه نشأة صالحة طيبة، تربى فيها على العفاف والطهارة وحسن الخلق، وكان قبل بلوغه يقوم برعي غنم والديه التي كانت أهم ثروة لديهم آنذاك جريا على عادة المجتمع في ذلك الوقت، إلا أن حافظا لم يكن كغيره من فتيان مجتمعه؛ فقد كان آية في الذكاء وسرعة الحفظ والفهم، فلقد ختم القرآن وحفظ الكثير منه وعمره لم يتجاوز الثانية عشر بعد، وكذلك تعلم الخط وأحسن الكتابة منذ الصغر.
طلبه العلم:
عندما بلغ حافظ من العمر سبع سنوات أدخله والده مع شقيقه الأكبر محمد١ مدرسة لتعليم القرآن الكريم بقرية "الجاضع" فقرأ على مدرسه بها جزأي "عم، وتبارك"؛ ثم واصل قراءته مع أخيه حتى أتم قراءة القرآن مجودة خلال أشهر معدودة، ثم أكمل حفظه حفظا تاما بعيد ذلك.
اشتغل بعدئذ بتحسين الخط فأولاه أكبر جهوده حتى أتقنه، وكان ينسخ من مصحف مكتوب بخط ممتاز، إلى جانب اشتغاله مع أخيه بقراءة بعض كتب الفقه والفرائض والحديث والتفسير والتوحيد مطالعة وحفظا بمنزل والده إذ لم يكن بالقرية عالم يوثق بعلمه فيتتلمذ على يديه.
وفي مطلع سنة ١٣٥٨ هـ قدم من "نجد" الشيخ الداعية المصلح عبد الله بن
١ هو الآن من خيرة علماء المنطقة الجنوبية في المملكة العربية السعودية وذوي الفضل فيها، له نشاط ملموس في الدعوة والإرشاد وإلقاء المحاضرات الإسلامية الرصينة، تولى إدارة معهد سامطة العلمي أكثر من عشرين عاما بعد رحيل أخيه الشيخ حافظ الذي كان أول مدير لهذا المعهد. أسأل الله أن يطيل في عمره وأن ينفع به وأن يمتعه بالصحة ويجعل التوفيق حليفه دائما.