ولكن الذي نشك فيه أن يكون ابن سويلم على ورعه يقبل أن يكون واليًا للقضاء في بلد قتل أكثر حكامه وبعضهم لم تستمر ولايته إلَّا أيامًا مثل عبد الله بن حجيلان بن حمد الذين لم تزد أيام ولايته على أربعين يوما قتله بعدها أناس من عشيرته آل أبي عليان، ثم قتل قاتلوه أو قاتلاه اللذان اغتصبا الحكم منه بعد أيام أيضًا.
والمعروف عند الإخباريين من أشياخنا من العوام المعمرين أن الشيخ عبد العزيز بن سويلم اعتزل القضاء رسميًا وفتح له دكانًا في بريدة يسترزق منه بالبيع والشراء، ولكنه كان يحكم أو لنقل يفصل بين المتخاصمين إذا تراضيا بالتحاكم عنده من غير أن تكون له سلطة فرض أحكامه، كما قدمنا في قصة المجنون الذي قتل العجوز.
ويؤيد ذلك ما يرويه أسرة آل سويلم من أن الشيخ عبد العزيز بن عبد الله بن سويلم ذهب إلى الدرعية في عام ١٢٣٨ هـ ليرى ما عليه الحال في منطقتها، وما إذا كان يستطيع أن يعود إليها، وأنه رأى أنها في حالة سيئة لا يصلح لمثله أن يسكن فيها، وليس المراد من ذلك مدينة الدرعية، وإنما المراد منطقتها ومنها الرياض - مثلًا - التي لم يخربها المصريون.
فعاد إلى بريدة مقررا أن يبقى فيها إلى ما شاء الله، وقد مات فيها بالفعل عام ١٢٤٤ هـ.
ويذكرون أيضًا أن (عبد الرحمن بن سويلم) الذي استظهرنا أنّه ابن أخيه وأوردنا عشرات الوثائق بخطه قد عاد بالفعل إلى منطقة الرياض أو الخرج ولذلك ليست له ذرية معروفة في بريدة وسيأتي ذكره بعد هذا.
ترجم الأستاذ محمد بن عثمان القاضي للشيخ عبد العزيز بن سويلم، فقال:
عبد العزيز السويلم، من الدرعية هو العالم الجليل الشيخ عبد العزيز بن سويلم بن عبد العزيز العريني من سبيع أصلًا أو حلفًا في قول: ولد هذا العالم في بلدة الدرعية وتربى تربية حسنة، وقرأ القرآن ومبادئ العلوم والخط