قال ابن البصري: ذكر أن ابناً لابن غانم جاءه من عند معلمه، فسأله عن سورته فقرأ عليه فأحسن، فدفع إليه عشرين ديناراً أو نحوها. فلما جاء بها الصبي إلى المعلم أنكرها وظن بالصبي ظناً. فجاء بها إلى ابن غانم، فقال ابن غانم: لعلك استقللتها؟ قال لا. فقال له حرف واحد مما علمته يعدل الدنيا وما فيها. وذكر أن رجلاً يقال له ابن زرعة كان ابن غانم قد حكم عليه، فبلغ ذلك من ابن زرعة كل مبلغ، فلقي ابن غانم في طريق ضيقة فسبه وقال له: يا فاعل يا ابن الفاعلة،، وبالغ. فلما كان بعد ذلك لقيه في طريق ضيقة، فسلم عليه ابن غانم وحمله معه إلى منزله فأحضر طعاماً وأكل معه، واقاما إلى قرب المساء ثم انصرفا. فلما أراد مفارقته استغفره ابن زرعة واعترف له بالخطأ، فقال أما هذا فلست اجعله حتى نخاصمك بين يدي الله، وأما أن ينالك منه شيء مكروه في الدنيا فلا. ومن طريق آخر أن الجند نزلوا في دار ابن زرعة بعد سبه له وملأوها سلاحاً. فلجأ إلى ابن غانم، فلما دنا من الباب تذكر، وقال بعد أن سببته أستنصره، فانصرف، ثم أعظم ما نزل به فرجع إليه، فلما دنا انصرف ثم رجع،