وفي هذا الجو العائلي، المفعَم بالصلاح والعلم والتقوى، ولد الإمام الخضر بنفطة سنة ١٨٧٣ م، وقضى طفولته الأولى في زاوية جده الرحمانية؛ حيث حفظ القرآن الكريم، وأخذ مبادئ العلوم اللغوية والشرعية على عدد من العلماء والمشايخ، من بينهم: خاله الشيخ محمد المكي بن عزوز.
والإمام الخضر شريف النَّسبين، يتصل نسبه بسيد الوجود سيدنا محمد - صلى الله عليه وسلم -، فهو: الإمام محمد الخضر بن الحسين بن علي بن عمر بن الموفق ابن محمد بن أحمد بن علي بن عثمان بن يوسف بن عبد الرحمن بن سليمان ابن أحمد بن علي بن أبي القاسم بن علي بن أحمد بن حسن بن سعد بن يحيى بن محمد بن يونس بن لقمان بن علي بن مهدي بن صفوان بن يسار ابن موسى بن عيسى بن إدريس الأصغر بن إدريس الأكبر بن عبد الله الكامل ابن الحسين المثنى بن الحسن السبط بن فاطمة الزهراء بنت رسول الله - صلى الله عليه وسلم -.
وفي سنة ١٨٨٦ م انتقلت عائلة الإمام الخضر من "نفطة" إلى تونس للإقامة الدائمة، وبعد سنة من استقرارها التحق الإمام الخضر بجامع الزيتونة، وهو في الرابعة عشرة من عمره.
وفي سنة ١٨٩٨ م تحصل الإمام الخضر على شهادة التطويع بعد إحدى عشرة سنة قضاها في رياض الزيتونة متقلباً بين علمائها ومشايخها.
ولأن أسرته حملت لواء التعليم في منطقة الزاب الجزائري -ولا زالت- والجريد التونسي، فقد فضل أن ينخرط في سلك المدرسين بجامع الزيتونة، وأن يواصل تحصيله العلمي بالمطالعة الجادة.
وفي سنة ١٩٠٤ م أسس مجلة "السعادة العظمى"، وهي أول مجلة عربية تظهر في تونس، التي توقفت عن الصدور بعد سنة من تأسيسها، وبتوقفها