صار بينهم وبين كتامة تحاسد وتنافس، إلى أن مات العزيز بالله، وقام من بعده أبو على المنصور، الملقّب بالحاكم بأمر الله، فرجع لكتامة الأمر بعض رجوع لما ولى ابن عمار الكتامى الوساطة التى هى فى معنى الوزارة. ولم يمكث ذلك معهم إلا قليلا.
وتغيّرت أحوال كتامة بعد قتل ابن عمار وتولية برجوان الوزارة وكان صقلبيا، فحط عليهم، وأغرى الحاكم بهم، فقتل منهم الكثير، وانحط قدرهم إلى زمن الظاهر لإعزاز دين الله، ولانكبابه على اللهو، وميله إلى الأتراك والمشارقة تلاشى أمر كتامة بالكلية، وصاروا من جملة الرعية بعد ما كانوا وجوه الدولة وأكابر أهلها.
وكانت الديلم فى زمن العزيز بالله نزار كثيرة المبانى بالقاهرة، فاختطت حارة بجوار باب زويلة القديم، وتعرف بهذا الاسم فى حجج الأملاك إلى الآن، وتارة تسمى بحارة الأمراء، وبحارة خوشقدم، وكان من جملتها حارة درب الأتراك لهفتكين التركى أحد أمراء العزيز، ثم انفصلت عنها كما هى اليوم.
[[قصر البحر]]
واختط نادر الصقلبى سيف الدولة، غلام العزيز بالله، دربا كان يعرف قديما بدرب نادر، وبدرب سيف الدولة، والآن يعرف بحارة الفراخة من خط قصر الشوك.
وأنشأ العزيز بالله نزار بن المعز قصرا صغيرا تجاه القصر الكبير من جهته الغربية، وكان يعرف بقصر البحر، بناه لسكنى ابنته «ست الملك» أخت الحاكم بأمر الله، وجعل به قاعة كبيرة لم يبن مثلها. وكان حدّ هذا القصر من تجاه الجامع الأقمر إلى الصاغة. وكان مطبخ القصر فى موضع الصاغة إلى درب السلسلة - وهو موضع وكالة الجوهرية الآن.
وكان ذلك القصر الصغير مطلا من شرقيه على القصر الكبير، ومن غربية على البستان الكافورى، وصار هذا البستان من عمائر القصر الصغير، فكان من أحسن ما بنى فى تلك الأيام، وابتدئ فى عمارته سنة خمسين وأربعمائة، وتمّ فى زمن الخليفة المستنصر بالله سنة سبع وخمسين وأربعمائة، فكانت مدة البناء فيه سبع سنين متوالية، وصرف عليه ألفا ألف دينار، عبارة عن ألف ألف جنيه وشئ، لأن الدينار يزيد عن نصف الجنيه قليلا.
وكان قصد الخليفة المستنصر بالله أن يجعله منزلا للخليفة القائم الله العباسى صاحب بغداد، ويجمع إليه بنى العباس، فلم يتيسر له ذلك، فجعله لسكناه، وكان من أبوابه باب الساباط، الذى فى موضعه الآن باب سر المارستان المنصورى، المسلوك منه إلى الخرنفش،