قال القاضي: وبعد هذا بيت قبيح تركناه لفحشه ورفثه، وإن كان بيت الأبيات الثلاثة في بابه. فضحك الأمير ومن حضر وانكسر خاطره، وعلم من حيث أتى. فجاء إلى ابن غانم معتذراً مقسماً أنه ما هجا أحداً من أهل بيته: فأظهر ابن غانم ألا علم عنده من شيء من القضية. فسأله كف أبي الوزن عنه، فأمر له بذلك. وكان ابن غانم يكثر إنشاد هذين البيتين:
إذا انقرضت عني من العيش مدتي ... فإن عناء الباكيات قليل
سيعرض عن ذكري وتنسى مودتي ... ويحدث بعدي للخليل خليل
وكان لابن غانم أخم اسمه سعيد، سمع من أخيه عبد الله وكتب عنه. وكان لابن غانم ابنان جليلان أبو عمر غانم وأبو شراحيل فقيهاً نظاراً ورعاً أديباً شاعراً، أخذ عن الكوفيين ومال إلى رأيهم. وتوفى ابن ست وثلاثين سنة. مولده سنة تسع ومائتين