على لفظ النسبة إلى خَضير أو الخضير، والأمر كذلك فسبب تسميتهم به أن جدهم كان طفلًا رضيعًا أو في سنته الثانية من العمر فشغلت عنه أمه بفلاحتهم وبشغل جعلها تتخلف عنه، فلما عادت إليه بعد بطأ وجدت أن مظهره لا يسرها فهو عابس الوجه، يبين عليه عدم الارتياح، واعتقدت أنه جائع أيضًا، فقالت تخاطب أهل بيتها: يا ويلكم من الله، أو قالت: يا ويلي من الله، خليت ولدي إلى ما صار وجهه وجه خضير.
وخضير: رجل فقير بائس رث المنظر يعرفونه فلقبوه خضيرًا على اسم ذلك الرجل البائس، ثم لحق اللقب ذريته.
وهم من أهل الشقة تفرعوا من أسرة الحميدي الكبيرة ويرجع نسبهم إلى حمد بن سالم بن مؤسس الأسرة الحميدي الذي هو من آل أبو رباع، من عنزة.