ولي الحرس لعبد الملك بن مروان والوليد بن عبد الملك وسليمان بن عبد الملك.
كان عمر بن عبد العزيز ينهى سليمان عن قتل الحرورية ويقول: ضمنهم الحبوس حتى يحدثوا توبة، فأتي سليمان بحروري مستقتل، فقال له سليمان: إيه. قال: إيه نزع لحييك يا فاسق ابن الفاسق. قال سليمان: علي بعمر بن عبد العزيز، فلما أتى عمر عاود سليمان الحروري فقال له: ما تقول؟ قال: وماذا يا فاسق ابن الفاسق؟ قال سليمان لعمر: يا أبا حفص، ماذا ترى عليه؟ قال: فسكت عنه. فقال: عزمت عليك لتخبرني ماذا ترى عليه؟ قال: أرى عليه أن تشتمه كما شتمك. قال سليمان: ليس إلا؟ فأمر به، فضربت عنقه، وقام سليمان، وخرج عمر.
فتبعه خالد بن الريان صاحب حرس سليمان بن عبد الملك. فقال: يا أبا حفص، تقول لأمير المؤمنين: ما أرى عليه إلا أن تشتمه كما شتمك؟ والله، لقد كنت متوقعاً أن يأمرني بضرب عنقك، قال: لو أمرك لفعلت؟ قال: إي والله لو أمرني لفعلت.
فلما أفضت الخلافة إلى عمر جاء خالد بن الريان فقام مقام صاحب الحرس، وكان قبل ذلك على حرس الوليد وعبد الملك، فنظر إليه عمر فقال: يا خالد ضع هذا السيف عنك، اللهم إني قد وضعت لك خالد بن الريان، اللهم لا ترفعه أبداً.
ثم نظر عمر في وجوه الحرس فدعا عمرو بن المهاجر الأنصاري فقال: والله إنك لتعلم يا عمرو أنه ما بيني وبينك قرابة إلا قرابة الإسلام، ولكني قد سمعتك تكثر تلاوة القرآن، ورأيتك تصلي في موضع تظن أن لا يراك أحد، فرأيتك تحسن الصلاة، خذ هذا السيف قد وليتك حرسي.
وكان خالد بن الريان سيافاً يقوم على رؤوس الخلفاء، فلما استخلف عمر عزله وقال: إني أذكر بأوه وهيبته، اللهم إني أضعه لك فلا ترفعه أبداً.