وكان اسمه الأصلي:(محمد الأخضر)، ثم أبدلت منذ طفولته بـ (الخضر) اختصاراً، وفي نفس الوقت تيمناً بأحد أولياء المسلمين الذي كان يسمى:(الخضر).
وفي مدينة "نفطة" ذات واحات النخيل الجميلة الفيحاء، والمياه المتدفقة الصافية، في ذلك العهد، ومقر العلم والعلماء، وكان رجل العلم فيها هو النموذج الاجتماعي البارز في ذلك العهد، صاحب الكلمة المسموعة، والرأي الراجح، لقد تربى في هذه البيئة التي يسيطر عليها العلم، وتغمرها الثقافة، ويحيط بها الورع الديني من كل جانب، فحفظ القرآن الكريم على الشيخ عبد الحفيظ اللموشي، ودرس بعض العلوم الدينية واللغوية على عدد من العلماء، وخاصة منهم: خاله الشيخ محمد المكي بن عزوز، الذي كان مهتماً به اهتماماً خاصاً، ويرعاه رعاية كاملة.
وانتقلت العائلة -وقد بلغ الشيخ السنة الثالثة عشرة من عمره- إلى تونس العاصمة في أواخر سنة (١٣٠٦ هـ - ١٨٨٦ م). ويبدو أن سبب هذا الانتقال هو حرص العائلة على تمكين الشيخ الخضر من مواصلة الدرس والتعلم بجامع الزيتونة مع إخوته الآخرين؛ إذ كان جامع الزيتونة قبلة طلاب العلم من جميع الأمصار، ومن إخوته: العلامة اللغوي محمد المكي بن الحسين، الذي استقر في تونس، والعلامة الشيخ زين العابدين بن الحسين، الذي استقر وتوفي بدمشق.
وبرغم انتقال عائلة الشيخ الخضر إلى مدينة تونس، فان مدينة "نفطة" وأهلها الأوفياء مازالوا فخورين ومعتزين بالشيخ حتى اليوم، وأذكر أنني في