وظل قاضيًا فيها حتى تغلب عبد العزيز بن متعب بن رشيد على عموم نجد فكان آل سليم، قد تحزبوا مع جماعة ضد حكمه فعزله عن القضاء ونفاه إلى قرية النبهانية مع من ينتمي إليه في غربي القصيم قرب الرس، وذلك آخر عام ١٣١٨ هـ، وظل في النبهانية داعية خير ورشد ورحل إليه الطلبة، وكان بيته ومسجده فيها من أندية العلم، وظل فيها خمس سنوات تنقص شهورًا، ولما تم استيلاء الملك على القصيم كله أعاد الشيخ إلى بريدة وإلى منصب قضائها إلا أن مدته لم تطل فقد ضعف جسمه وأرهقته الشيخوخة.
وأما أوصافه فكان مربوعًا أسمر اللون ضخمًا عريض الصدر متوسط الشعر، وله تلامذة نبغوا في العلم وطار صيتهم ومن أبرزهم العلامة الجد الشيخ صالح بن عثمان القاضي لازمه في عنيزة ورحل إليه في بريدة والخال عبد الله بن محمد بن مانع وإبراهيم بن حمد بن جاسر وعبد الله بن مفدي وعبد الله بن حسين أبا الخيل، وصعب التويجري وعبد الله وعمر بن محمد بن سليم، ومحمد بن عبد العزيز بن مانع، ومحمد بن مقبل قاضي البكيرية الورع ومحمد الناصر الحناكي وسالم الحناكي، وعبد الله بن بليهد، وعبد الله بن محمد بن دخيِّل وعلي المقبل وعبد الله بن رواف وعبد الرحمن بن بطي وصالح الفوزان وسليمان العمري وعلي السناني وعلي بن ناصر أبو وادي وصالح بن قرناس وعبد الرحمن بن عويد وعثمان بن مضيان وسليمان بن عبد الله بن حميد في آخرين ممن لا يحصرهم العد.
وجرت عليه من الولاة محن ومصائب ووشايات من حساد المعاصرة وهرج ومرج وهو ثابت ثبوت الجبال لم يتزعزع وسلط الولاة العيون عليه والمضايقات حتى هدده آل رشيد وأمراؤهم بالقتل بعد وقعة المليدا، وهموا بما لم ينالوا فوقاه الله سيئات ما مكروا وحاولوا الغدر به، ولما لم ينجحوا بتلك