أخميم ثم طهطا، ثم اقتصر على اشتغاله بشأن نفسه من أمر دينه ودنياه، مع وظيفة نظر جامع جده أبى القاسم وضريحه، فله التكلم على خدمته وإيراداته من نذور وخلافها، وله ابنان أحدهما له وظيفة نقابة أشراف تلك الجهة بعد أن جاور بالأزهر مدة، والآخر منهمك فى طلب العلم مع النجابة الزائدة.
وفيها أشراف من غيرهم أيضا، وبيت من الأنصار كلهم علماء من عدة أجيال من أهل التدريس والتأليف، كالشيخ عبد العزيز الأنصارى ناظم متن القطر، وأخيه الشيخ (فراج) العالم الربانى الورع الزاهد، كان يواسيه ابن أخيه الشيخ على القاضى بماله فيرده لما فيه من الشبهة، ولا يقبل منه إلا الوقود، ويقول: هو من النار إلى النار، وكالشيخ عبد الصمد أخيه أيضا، كان يقرأ بطهطا كبار الكتب كجمع الجوامع، ومختصر السعد، وقد ماتوا جميعا فى أوائل هذا القرن، ومنهم القاضى وأبوه من قبله الشيخ على ابن الشيخ محمد الفرغلى، كان قرين الشيخ إبراهيم البيجورى شيخ الأزهر، توفى قبيل سنة ثمانين من هذا القرن.
وفيها علماء من غيرهم أيضا، وفيها بيت من مشايخ عرب جهينة يسمى بيت الكشكى، وهو بيت عمدتها إلى الآن، وبيت أولاد عنبر أفندى قاضى مدينة سيوط سابقا، وله مضيفة مشهورة وتنزل عندهم الحكام والأمراء، وأحدهم رفاعة عنبر من نواب الشورى، وفيها عائلة تسمى القلتية، اشتهر أكثرها بإفادة العلوم واستفادتها جيلا بعد جيل، وكان الواحد منهم إذا كتب اسمه على صك شرعى أعقبه قاضيها ومفتيها بقوله المشهور نسبه الكريم بابن القلتى، ولهم مآثر جمة منها عدة من المساجد المعمورة بذكر الله تعالى إلى الآن، وخزانة كتب، وكانوا يتعيشون من محصولات رزقهم المعطاة لهم من قبل ملوك عصرهم بمقتضى فرمانات سلطانية تناولتها أيدى الضياع، أو مما عاد