تفتحت موهبة الشعر عند ظافر مبكرة وتهيأت له فرصة أن يتألق اسمه بين شعراء مدينته، فإن ابن ظفر واليها من قبل الخليفة الفاطمى تصادف أن ورم خنصره وبه خاتم، فخشى عاقبة الأمر وطلب حدادا كى يكسر حلقته، فجاءوه بظافر، فلما كسر الحلقة أنشده بديها:
قصّر فى أوصافك العالم ... واعترف الناثر والناظم
من يكن البحر له راحة ... يضيق عن خنصره الخاتم
فاستحسن ذلك منه ابن ظفر ووهبه الحلقة وكانت من ذهب. وكان بين يديه غزال مستأنس قد ربض أو طوى قوائمه، وجعل رأسه فى حجره، فقال له أحد الحاضرين: إن كنت ذا خاطر سمح فأنشدنا أسرع من لمح البصر فى هذا الغزال المستأنس، فقال توّا:
عجبت لجرأة هذا الغزال ... وأمر تخطّى له واعتمد
وأعجب به إذ بدا جاثما ... فكيف اطمأنّ وأنت الأسد
فزاد ابن ظفر وجلساؤه فى الاستحسان. وكانت هناك شبكة مسدولة على باب المجلس تمنع الذباب من دخوله، فتأملها ظافر وقال بديها:
رأيت ببابك هذا المنيف ... شباكا فأدركنى بعض شك
وفكّرت فيما رأى خاطرى ... فقلت البحار مكان الشّبك
وكانت هذه الحادثة سببا فى اشتهار ظافر بمدينته، وتهاداه أعيانها وقضائها مثل ابن أبى حديد قاضيها وله فيه مدائح طريفة.
وطمح ظافر إلى لقاء الأفضل بن بدر الجمالى وزير الفاطميين، وكان قد حجر على الخليفة الآمر وأصبح له الملك والسلطان كله، فاتخذ الأسباب إلى لقائه، ولم يكد يستمع منه إلى مديحه حتى أكبره وقدّمه على أقرانه، وسكن ظافر بجواره فى الفسطاط، وأخد يدبّج فيه مدائح طنانة، وهو يغدق عليه من نواله مع راتب قدّره له، وإلى ذلك يشير قائلا:
وهذا الجناب الأفضلىّ يكنّنى ... ذرى ظلّه إنى إذن لسعيد
وقدّر لهذه السعادة أن ينحسر ظلها عن ظافر إذ دبّر الخليفة الآمر للأفضل من قتله غيلة سنة ٥١٥ للهجرة، وولى الوزارة بعد الأفضل المأمون البطائحى، ولظافر فيه مدحتان يشكو فيهما من عوزه وضيق ذات يده، ومع ذلك يشكره على ما أولاده من نعم. ويبدو أن ما نعم به فى زمن الأفضل