خطوطهم فيه، وقالوا له: اكتب خطك. فأبى، فقالوا للوالي: الفقهاء كلهم قد اتفقوا على شيء وهو يخالفهم. واستأذنوه في رفع منبره، فبعث الأسرى، فرفعوا ما في جامع دمشق من منبر وخزانة ودرابزين، وقالوا: نريد ان لا تجعل في الجامع إلَّا صلاة الشافعية. وكسروا منبر الحافظ، ومنعونا من الصلاة، ففاتتنا صلاة الظهر. ثم إن الناصح جمع البنوية، وغيرهم، وقالوا: إن لم يخلونا نصلي باختيارهم، صلينا بغير اختيارهم. فبلغ ذلك القاضي، وكان صاحب الفتنة، فأذن لهم، وحمى الحنفية مقصورتهم بأجناد، ثم إن الحافظ ضاق صدره ومضى إلى بعلبك، فأقام بها مدة، فقال له أهلها: إن اشتهيت جئنا معك إلى دمشق نؤذي من آذاك، فقال: لا. وتوجه إلى مصر، فبقي بنابلس مدة يقرأ الحديث، وكنت أنا بمصر، فجاء شاب من دمشق بفتاو إلى صاحب مصر الملك العزيز ومعه كتب أن الحنابلة يقولون كذا وكذا مما يشنعون به عليهم. فقال -وكان يتصيد: إذا رجعنا أخرجنا من بلادنا من يقول بهذه المقالة. فاتفق أنه عدا به الفرس، فشب به، فسقط، فخسف صدره، كذلك حدثني يوسف بن الطفيل شيخنا وهو الذي غسله، فأقيم ابنه صبي، فجاء الأفضل من صرخد، وأخذ مصر، وعسكر، وكر إلى دمشق، فلقي الحافظ عبد الغني في الطريق، فأكرمه إكرامًا كثيرًا، ونفذ يوصي به بمصر، فتلقي الحافظ بالإكرام، وأقام بها يسمع الحديث بمواضع، وكان بها كثير من المخالفين، وحصر الأفضل دمشق حصرًا شديدًا، ثم رجع إلى مصر، فسار العادل عمه خلفه، فتملك مصر، وأقام، وكثر المخالفون على الحافظ، فاستدعي، وأكرمه العادل، ثم سافر العادل إلى دمشق، وبقي الحافظ بمصر، وهم ينالون منه، حتى عزم الملك الكامل على إخراجه، واعتقل في دار أسبوعًا، فسمعت أبا موسى يقول: سمعت أبي يقول: ما وجدت راحة في مصر مثل تلك الليالي. قال: وكانت امرأة في دار إلى جانب تلك الدار، فسمعتها تبكي، وتقول: بالسر الذي أودعته قلب موسى حتى قوي على حمل كلامك. قال: فدعوت به، فخلصت تلك الليلة.
سمعت أحمد بن محمد بن عبد الغني، حدثني الشجاع بن أبي زكري الأمير، قال: قال لي الملك الكامل يومًا: هاهنا فقيه قالوا إنه كافر. قلت: لا أعرفه، قال: بلى، هو محدث، قلت: لعله الحافظ عبد الغني؟ قال: هذا هو، فقلت: أيها الملك، العلماء أحدهم يطلب الآخرة، وآخر يطلب الدنيا، وأنت هنا باب الدنيا، فهذا الرجل جاء إليك أو تشفع يطلب شيئًا؟ قال: لا. فقلت: والله هؤلاء يحسدونه، فهل في هذه البلاد أرفع منك؟ قال: لا. فقلت: هذا الرجل أرفع العلماء كما أنت أرفع الناس، فقال: جزاك الله خيرًا كما عرفتني، ثم بعثت رقعة إليه أوصيه به، فطلبني فجئت، وإذا عنده شيخ الشيوخ ابن حمويه، وعز