قال ابن عبد الظاهر: سمعت غير واحد يقول إنه لما فرغ ابن طولون من بناء هذا الجامع أسر بسماع ما يقوله الناس فيه من العيوب، فقال رجل: محرابه صغير. وقال آخر:
ما فيه عمود. وقال آخر: ليست له ميضأة. فجمع الناس وقال: أما المحراب فإنى رأيت رسول الله ﷺ وقد خطه لى، فأصبحت فرأيت النمل قد أطافت بالمكان الذى خطه لى رسول الله ﷺ، وأما العمد فإنى بنيت هذا الجامع من مال حلال، وهو الكنز، وما كنت لأشوبه بغيره، وهذه العمد إما أن تكون من مسجد أو كنيسة. فنزهته عنها، وأما الميضأة فإنى نظرت فوجدت ما يكون منها من النجاسات فطهرته منها، وها أنا أبنيها خلفه، ثم أمر ببنائها.
وفى سنة ست وسبعين وثلاثمائة احترقت الفوارة التى كانت به فلم يبق منها شئ واحترقت القبة التى كانت فى صحنه وكانت مشبكة من جميع جوانبها، وهى مذهبة قائمة على عشرة أعمدة من الرخام، وفى جوانبها ستة عشر عمودا مفروشة كلها بالرخام، وتحت القبة قصعة رخام فسحتها أربعة أذرع فى وسطها الفوارة، وقبة مزوقة يؤذن فيها وفى أخرى على سلمها، وفى السطح علامات الزوال، والسطح بدرابزين ساج، فاحترق جميع هذا فى ساعة واحدة.
ثم فى سنة خمس وثمانين وثلاثمائة أمر العزيز بالله بن المعز ببناء فوارة عوضا عنها.
قال المسبّحى: إن الحاكم أنزل إلى جامع ابن طولون ثمانمائة مصحف وأربعة عشر مصحفا للقراءة فيها، وبقى الجامع عامرا مع ما حوله إلى زمن المستنصر، فجاء الغلاء بمصر وخربت القطائع والعسكر وفارقت الناس هذه الجهة، وخرب الجامع وما حوله، وصارت المغاربة تنزل فيه بأباعرها ومتاعها عندما تمر بمصر أيام الحج.
واستمر على ذلك إلى أن استولى لاجين على الديار المصرية وتلقب بالملك المنصور سنة ست وتسعين وستمائة فأمر ببنائه، فبنى وبيض وجعل عليه أوقافا عظيمة، ورتب فيه دروسا للمذاهب الأربعة، ودرسا للتفسير، ودرسا للحديث، ودرسا للطبّ، وقرر للخطيب معلوما وجعل له إماما راتبا ومؤذنين وفراشين وقومة، وعمل بجواره مكتبا لإقراء أيتام المسلمين وغير ذلك من أنواع البر، فبلغت النفقة على عمارته وثمن مستغلاته عشرين ألف دينار، ورجع الجامع لما كان عليه وعمر ما حوله إلى أن قتل الملك لاجين سنة ثمان وتسعين وستمائة.
وفى سنة سبع وستين وسبعمائة جدد به الأمير يلبغا العمرى الخاصكى دروسا للحنفية،