وبدأت قبائل صحراوات النيل - البحر الأحمر، تهاجم وادى النيل، ونهبت قفط نهبًا بدون حصانة فى سنة ٢٠٤ هـ/ ٨١٩ م على أيدى قبائل البِجَه التى كانت لا تزال نصرانية، وحتى سنة ٢١٢ هـ/ ٨٢٨ م, لم يكن قد بنى حولها سور واقٍ ليحميها. وفى النصف الأول من القرن الرابع الهجرى/ العاشر الميلادى، كتب المسعودى مبينا أن قوص كانت أهم من قفط، ويربط أفول نجمها، وانقضاء زمانها، والنفور منها إلى بعد مجرى النيل عنها، والواقع أن تجار قوص المهرة كانوا قادرين على الاستفادة بالنهر، المحور التجارى الوحيد الذى كان لا يزال آخذًا فى الازدهار بسبب التجارة مع بلاد النوبة، بينما هجرت كل الطرق الأخرى؛ وحين استفيد بها مرة ثانية مع إحياء التجارة الشرقية فى ظل الفاطميين إبان القرن الخامس الهجرى الحادى عشر الميلادى، انتعشت قفط من جديد، إلا أن قوص احتلت المركز الأول وقتذاك، وصارت عاصمة إقليمية. وعلى الرغم من ذلك، استوطن "قفط" مزيج متعدد من السكان وبخاصة حين أدت العلاقات مع الحجاز لفترة طويلة إلى إستقرار أسر العلويين فيها. ولم يكن ثمة شك فى تأثيرهم الذى يفسر الانتشار الكبير للمذهب الشيعى هناك، وفى إخلاصهم للفاطميين بعد تولى صلاح الدين للسلطة، فقد دبرت مؤامرة أدت إلى "ثورة" فى سنة ٥٧٢ هـ/ ١١٧٧ م، تم قمعها بوحشية. ونتيجة لذلك، أوكلت قفط إلى قوص مهمة فرض الثورة السنية المضادة على الصعيد. وربما يكون رحيل بعض الأسر منها (على سبيل المثال، أسرة ابن القفطى) مرتبطًا بهذه الأحداث؛ ولا يبدو أن قفط قد كان بها مدرسة أسوة بمدن صعيد مصر الصغيرة الأخرى، وسرعان ما فقدت قاضيها (تحولت إلى السلطان القضائى لممثل قاضى قوص). وبقى إقليم قفط وقفًا يذهب ريعه لمساندة أشراف مكة. ولم تكن قفط فى الفترة المملوكية سوى مركز زراعى صغير فى الريف حيث وفرت زراعة