لم يتضح لنا بأن للشيخ حافظ مشائخ تتلمذ عليهم، غير الشيخ عبد الله القرعاوي، ولذا حدب عليه واهتم به، لما رأى فيه من النباهة، وعلو الهمة، فكان نعم التلميذ لخير أستاذ.
وإذا كان التربويون يقولون: إن الهمة في طلب العلم غريزة تتكون في الإنسان منذ حداثته، ويوقد جذوتها الذكاء الفطري، وينمي هذه الغريزة، ما يتهيأ أمام الإنسان من أسباب مادية أو معنوية، وإلا خمدت الجذوة، فإن الذكاء كالسيف الأصيل، إن ترك في غمده تأكسد وصدئ، وإن استعمل وشحذ صار بتارا.
والأسباب التي تهيأ للإنسان تختلف من زمان إلى زمان، ومن بيئة إلى بيئة، وحافظ الحكمي نمت مع ترعرع جسمه الرغبة في طلب العلم، وقد ساعده على ذلك، ما امتن الله به عليه من ذكاء وقدرة عجيبة على الحفظ، فكان يحصل في الوقت القصير، ما يثقل كاهل أترابه في الزمن الطويل، وقد أجمل ابنه أحمد، صفات والده في طلب العلم، فقال: عندما بلغ حافظ من العمر