وتردد اسمه ليكون ملكا على العرب وحتى بلاد اليونان وغيرها. وظهر المحبذون له والمتحفظون منه. وبدأت الضغوطات من مختلف الدول المستفيدة والخائفة. فإذا بالأمير يتوجه إلى الحج تاركا كل الإشاعات والمناورات وراءه. وقضى في الحرم الآمن حوالي سنتين بعيدا عن الأنظار السياسية والضغوطات الدبلوماسية.
فهل كان الإغراق في التصوف ابتداء من هذه الرحلة مقصودا من الأمير لكي يبتعد عن المسرح السياسي؟ وهل كان موقفه من التصوف عندئذ جوابا لطالبي يده في تولي المناصب وتبني وجهات النظر الضاغطة عليه؟ حقيقة أن الأمير كان يطمح إلى أداء هذه الزيارة، بل الإقامة، في الحجاز منذ ترجل عن صهوة جواده في ديسمبر ١٨٤٧ واضعا بذلك النهاية لسنوات طويلة من المقاومة، ولكن السلطات الفرنسية حملته إلى سجونها بدل الشرق. فكان لسان حال الأمير سنة ١٨٦٤ قول الشاعر محمد العيد الذي حدث له في التصوف ما حدث للأمير تقريبا:
وجنحت للحرم الذي فارقته ... زمنا جنوح الطير للأوكار
إننا نرجح أن (عودة) الأمير إلى التصوف بتلك الصفة التي تدعو للدهشة كانت هروبا من محاولات استعماله في أدوار لم ير الفرصة سانحة للقيام بها، وقد كانت له همة قعساء ومروءة شماء أيضا. فرأى أن خير ما يبتعد به هو اللجوء إلى الفتوحات المكية وفصوص الحكم لابن عربي، وغيرهما من كتب الحقيقة الصوفية. ورغم أنه ظل يعيش مشاكل الظاهر بالنسبة لأسرته وضيوفه ومن يلوذ به، فإنه انسحب إلى الباطن أو ما يسميه بالسبوحات الوهبية والغيبيات بالنسبة لحياته الخاصة. وقد أصبح كثير الغيبة عن الوجود الحسي. وكثيرا ما وجدناه في (المواقف) يردد عبارة معينة، وهي أنه كان في حالة مشاهدة فصعق فكلمه الله وقال له: إنني أنا الله لا إله إلا أنا. وكان يحصل له، كما أخبر، بعد الرجوع إلى الحس، فرح وبشارة.