الرأس حافي القدمين صيفا وشتاء، معترضا سبيل المارة واعظا مرشدا داعيا إلى ذكر الله أو صارخا لاعنا. ويئس ذووه من إصلاحه فتركوا أمره إلى الله يفعل ما يشاء، وعندها ساح على وجهه منتقلا من بلد إلى بلد حتى بلغ به التطواف مدينة مصراتة في ليبيا، وفيها تتلمذ على الشيخ محمد ظافر المدني صاحب الطريقة المدنية إحدى فروع الطريقة الشاذلية، ونزل مجاورا في زاويته فأرشده وهداه وأعاد لشخصيته التوازن الذي فقده أيام المراهقة.
وهكذا وجد في حلقة هذا الشيخ لذة الطلب والتحصيل وفتح الله عليه فتحا عاد بعده إلى وطنه وأهله بزينة شرف العلم وجمال الأدب وتحصل على إجازات من الشيخ المدني، وبعد عودته إلى تونس واصل طلب العلم بجامع الزيتونة، فأخذ عن محمد بيرم الثالث، وأحمد بن الطاهر اللطيف، ومحمد بن ملوكة، وغيرهم، وشيخه أحمد بن الطاهر اللطيف رشحه لتعليم ابن سليمان كاهية صهر أمراء البيت المالك ووزير حمودة باشا للحربية، وانتابته الوساوس والشكوك، وخاف من بطش المشير الأول أحمد باشا به، ففر من تونس، وسافر إلى استانبول بعد وفاة سليمان كاهية ١٢٥٤/ ١٨٣٨ الذي كان له سندا وحاميا ومدافعا مفندا لا دعاءات السعاة. وعند استقراره باستانبول قسم وقته بين القراءة والإقراء، وتعرف فيها بعلمائها وأدبائها، وكانت له معهم مواعيد ولقاءات، وملّ الاغتراب في الآستانة فعاوده الشوق إلى تونس التي رجع إليها في جمادى الأولى سنة ١٢٥٨/ ١٨٤٨ وكان عند رجوعه ما يزال أحمد باشا باي موجودا، فكيف فرّ ثم عاد. إن شكوكه ووساوسه ونفسيته الغربية حملته على الهجرة، وتطمين التونسيين له الوافدين من عاصمة الخلافة وضمان عفو الأمير عنه سهّل له أمر الرجوع ومن هؤلاء الوافدين المؤرخ الشيخ أحمد بن أبي الضياف الذي أعانه على العودة، وتكفل له بالعفو والتوسط لدى المشير أحمد باشا باي في شأنه.