قال الضياء: تزوج الحافظ بخالتي رابعة ابنة خاله الشيخ أحمد بن محمد بن قدامة، فهي أم أولاده محمد وعبد الله وعبد الرحمن وفاطمة، ثم تسرى بمصر.
قلت: أولاده علماء: فمحمد هو المحدث الحافظ الإمام الرحال عز الدين أبو الفتح، مات سنة ثلاث عشرة وست مائة كهلًا، وكان كبير القدر.
وعبد الله هو المحدث الحافظ المصنف جمال الدين أبو موسى، رحل وسمع من ابن كليب وخليل الراراني، مات كهلًا في شهر رمضان سنة تسع وعشرين.
وعبد الرحمن هو المفتي أبو سليمان ابن الحافظ، سمع من البوصيري وابن الجوزي، عاش بضعًا وخمسين سنة، توفي في صفر سنة ثلاث وأربعين وست مائة.
من المنامات:
أورد له الشيخ الضياء عدة منامات، منها: سمعت أحمد بن يونس المقدسي الأمين يقول: رأيت كأني بمسجد الدير وفيه رجال عليهم ثياب بيض، وقع في نفسي أنهم ملائكة، فدخل الحافظ عبد الغني، فقالوا بأجمعهم: نشهد بالله إنك من أهل اليمين مرتين أو ثلاثًا.
سمعت الحافظ عبد الغني يقول: رأيت النبي ﷺ في النوم وأنا أمشي خلفه إلَّا أن بيني وبينه رجلًا.
سمعت الرضي عبد الرحمن بن محمد يقول: رأيت كأن قائلًا يقول: جاء الحافظ من مصر، فمضيت أنا والشيخ أبو عمرو العز ابن الحافظ إليه، فجئنا إلى دار ففتح الباب، فإذا الحافظ وعلى وجهه عمود من نور إلى السماء، وإذا والدته في تلك الدار.
سمعت الشيخ الصالح غشيم بن ناصر المصري قال: لما مات الحافظ كنت بمكة، فلما قدمت، قلت: أين دفن؟ قيل: شرقي قبر الشافعي، فخرجت، فلقيت رجلًا، فقلت: أين قبر عبد الغني؟ قال: لا تسألني عنه، ما أنا على مذهبه ولا أحبه، فتركته، ومشيت، وأتيت قبر الحافظ، وترددت إليه، فأنا بعض الأيام في الطريق فإذا الرجل فسلم علي وقال: أما تعرفني؟ أنا الذي لقيتك من مدة وقلت لك كذا وكذا، مضيت تلك الليلة فرأيت قائلًا يقول لي: يقول لك فلان وسماني: أين قبر عبد الغني؟ فتقول: ما قلت؟! وكرر القول علي، وقال: إن أراد الله بك خيرًا فأنت تكون على ما هو عليه، ثم قال: فلو كنت أعرف منزلك لأتيتك.