على هذا الحال، مرضى المقال، مجاب السؤال، إلى سنة ست وأربعين فعزل في شوال منها عن الرياسة والكتابة، وأمر بلزوم داره وانقطع عند الوارد والصادر.
ثم سجن ونهب وثقل بالحديد، وأُصيب بالنكال الشديد، وجفاه القريب والبعيد، إرضاء للأوداية الذين أوغروا قلب السلطان عليه، وصرحوا بأنه السبب الوحيد في إيقاد نيران الفتن بينهم وبين السلطان أبى زيد مخدومه المذكور، وأنهم لا يرضخون للطاعة ما لم يقتص منه، ولا يرضون وساطته ولا يقبلون دخوله في أمر ما من أمورهم.
ثم بعد مدة سرح من السجن، وبعد أيام خرج بقصد زيارة مولانا عبد السلام بن مشيش فوشى به بعض الحسدة للسلطان وقرر له أن مقصوده بهذه الوجهة هو الهرب بمال كان دسه، والاستيجار بذلك الضريح، فوجه السلطان في إثره من رده على عقبه، ثم امتحن محنة أشد من الأولى، فبقى بفاس مدة يلتجئ إلى الله تعالى ويتعلق بأوليائه الصالحين، إلى أن أشار عليه من يشار إليه بالخير والصلاح بالتوجه لمكناسة الزيتون، والسلطان إذ ذاك بها، فذهب إليها واحترم بضريح جد الأملاك مولانا إسماعيل.
ولما بلغ خبره للسلطان أمنه وأمره بالطلوع لشريف أعتابه، فاستكتبه أولا مع وزيره الفقيه السيد المختار الجامعي، ولم يزل في ترق ودنو إلى أن رده لمنصبه وأعطاه الطابع وعزز له الوزارة بالحجابة، وذلك سنة إحدى وخمسين، ولم يزل على وظيفته بعد عزيزا مكرما، ملحوظا معظما، إلى أن استهل هلال المحرم من سنة أربع وستين فمرض اثنى عشر يوما وقضى نحبه على ما سنذكره بعد رحمه الله.
وكان من عادته أنه يلازم الجلوس بباب القصر السلطانى حتى في الأعياد وأيام البطالة، يذهب أرباب الوظائف والخدم لدورهم، ويبقى هو بالباب لا يبرح، فإذا تمم أشغاله نام هنالك، ولا يذهب لبيته إلا في أوقات محدودة، أو حاجة أكيدة، ويقول: الأيام حبالى لا يدرى ما تلد، فربما يحدث أمر وأكون غائبا.