لي رتبة "أميرالاي" و ١٣٠٠ قرش في الشهر، و٣٥٠ فدانًا في طهطا, ولكن الدنيا لا تدوم على حالٍ، فما أن مات محمد علي، وتولَّى عباس الأول الحكم, حتى أغلق المدارس جميعها إلّا القليل، وألغى مدرسة الألسن والشيخ رفاعة معها، بحجة الاقتصاد في النفقات، ولأن حاشية السوء لما رأت ميل الوالي إلى محاربة التعليم والعلماء خاضوا في الشيخ رفاعة وطريقته, ورموه بالعقم، فنفاه عباس الأول إلى السودان تحت ستار إنشاء مدرسة ابتدائية هناك, وتعيينه ناظرًا لها، ومعه طائفةٌ من أكابر العلماء. ولم تكن الخرطوم كما هي اليوم في نظافتها ومبانيها، وتوفر وسائل العيش بها، وإنما كانت مدينةً صغيرةً تصعب الحياة فيها على من ألف حياة باريس والقاهرة، وعلى كل من يشرف على التعليم كله بمصر، فإذا هو يشرف على مدرسةٍ ابتدائيةٍ صغيرةٍ بالخرطوم.