بالفشل وانتهت إلى خيبة، فقدم استقالته من الوزارة ورئاسة المجلس الأكبر في سنة ١٨٦٢ وآثر الانزواء والاعتزال في بستان له.
وانفجرت ثورة ١٨٦٤ التي جعلت نظام الباي على حافة الهاوية، والقوات البحرية الأوربية على أهبة الاستعداد للتدخل في البلاد، وهذه الوضعية المحلية والعالمية للقطر التونسي، ووضعية السلطنة العثمانية بتونس، وسياسة بعض الدول الأوروبية في إبعاد الدولة العثمانية من الاهتمام بتونس أو القيام بمبادرة فيها فإنها أخرجته من عزلته السياسية فوالى الاجتماعات والمناقشات في تونس أو في ضاحية المرسى مع أنصاره من جماعة الإصلاح، وتحدثوا في وضعية الدولة العثمانية وولاياتها العربية الإسلامية، وبعد مدة كلفته حكومة الباي بسفارات خارجية زار فيها تسع دول أوروبية منها بالخصوص فرنسا. وفي رحلته الواسعة هذه اغتنم الفرصة لدراسة الأسس الحضارية والثقافية الغربية، والمؤسسات الاجتماعية والسياسية والثقافية لهذه الدول التي زارها واتضح له أسباب ركود المجتمع العربي الإسلامي، وتبين له برنامج إصلاح السلطنة، وعلاوة عن ذلك فإن مطالعاته للمؤلفات السياسية المترجمة في مصر عن الفرنسية باشراف رفاعة الطهطاوي الموجودة في مكتبة المدرسة الحربية بباردو، ومؤلفات خاصة بتاريخ المجتمع الإسلامي، ومؤلفات خاصة بتاريخ الغرب، ومعرفة فلسفة الدولة عند ابن خلدون، ومناقشاته مع أساتذة المدرسة الحربية بباردو، ومع اللاجئين السياسيين واتصالاته مع المصلحين العثمانيين وبالخصوص أنصار التنظيمات، سمحت له بتشكيل أفكاره السياسية والاجتماعية، وللاجابة عن المتعنتين، وعرض برنامجه السياسي، كتب عند ما تحرر من مسئولياته الحكومية في تونس واستانبول مذكراته.
وفي مدة اعتزاله للمناصب السياسية دون كتابه «أقوم المسالك في معرفة أحوال الممالك» وأودع فيه خلاصة آرائه في الاصلاح والتمدن.
بعد ثورة ١٨٦٤ اجتاحت البلاد ظروف سيئة من انتشار المجاعات والأوبئة واختلال الحياة الاقتصادية وإفلاس ميزانية الدولة، وانتصاب