وفي سنة (١٣٢٢ - ١٩٠٤) أصدر مجلة "السعادة العظمى" وهي أول مجلة صدرت بتونس، صدرت نصف شهرية، واستمرت قرابة العام، وأعدادها ٢١ عدداً، وكان ظهور هذه المجلة حدثاً فكرياً بارزاً اهتزّ له رجال العالم المحبين للأدب والإصلاح والشباب، وساء المتزمتين ضيقي الأفق، عبّاد القديم؛ فإن هذه المجلة بدت فيها نزعة إلى حرية النقد، ودعوة إلى احترام التفكير، وتأييد لفتح باب الاجتهاد، ففي المقال الافتتاحي الذي قدّم به المجلة يقول:"إن دعوى أن باب الاجتهاد قد أغلق هي دعوى لا تُسمع إلا إذا أيّدها دليل يوازن في قوته الدليل الذي فتح به باب الاجتهاد"، ومثل هذه الدعوى وأمثالها مما روجته مجلته، لم تكن لتلقى القبول والترحيب من وسط الجامدين دعاة التمسك بالقديم، وقامت هيئة النظارة العلمية بجامع الزيتونة (المديرة له) تطالب الحكومة بمنع صدور هذه المجلة، وتدعو إلى معارضتها ومقاومتها، وكانت بذلك مجلبة لكثير مما ناله من الاضطهاد طيلة مقامه بتونس.
وكشفت هذه المجلة عن مكانة صاحبها في النثر الفني والعلمي، واتجاهه إلى تجديد أغراض الشعر بصوغ القصائد في المعاني الاجتماعية والفلسفية، والتوجيه إلى مسالك النهضة والتحرر والتجدد.
وفي مدة تدريسه بجامع الزيتونة، درس كتاب "المثل السائر" لابن الأثير، كان درساً عظيم الصدى، ازدحم عليه المستفيدون، وحاز به شهرة ومكانة لدى الوسط العلمي، وبتوجيهه واعتنائه تأسست أول منظمة طاليية بتونس تحت إشرافه باسم:(جمعية تلامذة جامع الزيتونة) سنة (١٣٢٤/ ١٩٠٧).
قال الشيخ محمد الفاضل بن عاشور: "ولذلك بدا الشيخ الخضر يستهدف