مس من الطيب كان لولده، وما لم يمس من الثياب وما لم يمس من الطيب فهو للخليفة بعده. فلما أصبح عمر قال له أهل سليمان هذا لك وهذا لنا، قال: وما هذا، وما هذا؟. . . ما هذا لي ولا لسليمان ولا لكم ولكن يا مزاحم ضم هذا إلى بيت مال المسلمين. ففعل، فتآمر الوزراء فيما بينهم فقالوا: أما المراكب والسرادقات والحجر والشوار والوطار فيه رجاء بعد أن كان منه فيه ما قد علمتم، وبقيت خصلة وهي الجواري نعرضهن، فعسى أن يكون ما تريدون فيهن، فان كان وإلا فلا طمع لكم عنده. فأتى بالجواري فعرضن عليه كأمثال الدمى، فلما نظر إليهن جعل يسألهن واحدة واحدة من أنت؟ ولمن جئت؟ ومن بعثك؟ فتخبره الجارية بأصلها ولمن كانت وكيف أخذت فيأمر بردهن إلى أهلهن ويحملهن إلى بلادهن حتى فرغ منهن. فلما رأوا ذلك أيسوا منه وعلموا أنه سيحمل الناس على الحق)
ثم عمد إلى النظام الإقليمي فأصلحه بأن عزل العمال المتشبعين بروح الحجاج، عزل يزيد بن المهلب وحبسه في مال كان للدولة في ذمته، ونفى نفرا من بني عقيل أسرة الحجاج، وولى عمالا جددا لم يحفل في تخيرهم بعصبياتهم ولا بقدرتهم على جمع الأموال كما كانت الحال من قبل، ولكن بحسن سيرتهم وطهارة ذمتهم، فكان من عماله عدي بن أرطاة الفزاري والي البصرة، وعبد الحميد بن عبد الرحمن القرشي والي الكوفة، وعبد الرحمن بن نعيم القشيري أمير خراسان، وأبو بكر بن حزم أمير المدينة، والسمح بن مالك الخولاني أمير الأندلس. وقد شد أزر الولاة بقضاة عدول، فجعل الحسن البصري على قضاء البصرة، وعامرا الشعبي على قضاء الكوفة كما جعل أبا الزناد كاتبا لأمير الكوفة. ولم يكتف عمر بذلك في إصلاح الإدارة الإقليمية بل تقدم إلى العمال في أمر العقوبات ألا يأمروا بقطع أو صلب قبل مراجعته هو أولاً.
ثم ثنى عمر بالمسائل المالية فرد المظالم، والمراد بالمظالم الأموال التي استولى عليها بنو أمية بغير حق، وقد بدأ في ذلك بنفسه فخرج لبيت المال عن كل مال لم يرض سبب تملكه، حتى لم يبق له الا عقار يسير ببلاد العرب يغل عليه غلة يسيرة فوق عطائه الذي كان يبلغ مائتي دينار في العام، ثم أخذ يتتبع أموال بني أمية يرد منها ما ليس مشروع الملكية إلى مستحقه، وقد هاج ذلك سخط بني أمية عليه، وذهبوا ينعون عليه أخذه أموالهم باسم (المظالم)؛ فلم تلن لغامزهم قناته، وأراهم أنه لا يحجم عن بلوغ الغاية في التنكيل بهم