لا مرونة له إذا عنت له فكرة أو تمسّك بمبدأ فهو لا يتزحزح عنهما ولو كانت الظروف الحالكة المحيطة به تجبر على انحناء الرأس قليلا حتى تمر العاصفة، مثلا ابان اشتداد الحملة الصحفية عليه في باريس عرض عليه صحفي فرنسي الدفاع عنه في مقابل معلوم مالي لا يتجاوز الثلاثين ألف فرنك فامتنع بحجة أن مالية الدولة لا تسمح بمثل هذا، وكان بوسعه أن يدفعها من حسابه الخاص، وهو ثري لا يثقله دفع هذا المبلغ، وكان فيه تعال وكبرياء، وعلى كل فإن استقالته كانت خسارة لتونس، إذ فقدت فيه رجل دولة عظيما.
سافر في الصائفة التي استقال فيها للاستجمام في فيشي وفي الصائفة الموالية للاستجمام في سان نيكاتور، وكان بعد تخليه من الوزارة على اتصال مستمر بالأوساط السياسية العليا في الآستانة وعلى اتصال بقصر السلطان بواسطة الشيخ محمد ظافر المدني الطرابلسي شيخ الطريقة المدنية الدرقاوية الشاذلية والمقرب من السلطان عبد الحميد الثاني الذي أعجب بآراء خير الدين وسمو برنامجه الاصلاحي اللذين تضمنهما كتابه «أقوم المسالك» فاستدعاه للحضور لديه بدار الخلافة، فاستأذن من الباي وسافر إلى الآستانة فوصلها في شوال سنة ١٢٩٥/ ١٨٧٧ فكانت مدة إقامته بتونس أربعين سنة.
وبمجرد مثوله لدى السلطان عبد الحميد الثاني أنعم عليه برتبة مشير، وهي أعلى رتبة في سلك التشريفات العثمانية، وأنزله في جناح خاص من قصر طولمه بغجة وعينه رئيسا للجنة اصلاح مالية الدولة، ثم ضم إليه وزارة العدل، وفي الثامن ذي الحجة ١٢٩٥/ ٤ ديسمبر ١٨٧٨ سمي صدرا أعظم (رئيس الوزراء) وترك اصلاحات مهمة في مختلف الوزارات والادارات، وكانت الدولة العثمانية تتخبط في أزمات خطيرة ومشاكل عديدة سياسية ومالية واجتماعية، فبادر بعلاج ما يمكن علاجه وإنقاذه، فكفل مصالح المسلمين في بلغاريا، وأمضى معاهدة الهدنة بين تركيا والروسيا المعروفة بمعاهدة سان ستيفانو المنعقدة في برلين عام ١٨٧٨ وسوى