قال المصعب الزبيري: ولاه المأمون قضاء المصيصة ثم صرخد، ثم قضاه الرقة، ثم صرفه. ثم قضاء عسكر المهدي ببغداد. ثم صرفه. ثم قضاء مصر، فلم يزل على قضائها إلى أن صرف آخر أيام المعتصم. قال الحميدي في قضاة مصر. قال: بقيت مصر بعد ابن المنكدر دون قاضٍ، إلى أن ولًّى المأمون قضاءها هارون بن عبد الله الزهري. قال هارون: دعاني المأمون فقال: يا
هارون قد وليتك بلدًا يقولون بقولك، مصر. قال أبو عمر الكندي في كتابه في قضاة مصر: قدم هارون الزهري مصر، في رمضان سنة سبع عشرة ومائتين من قبل المأمون، وجلس في المسجد الجامع ولم يُبقٍ شيئًا في أمور القضاء إلا شاهده، بنفسه. وحضره مع أهل مصر.
وتقصّى الأحباس وأموال الأيتام، ووقف على وجوهها بنفسه، وحاسب عليه، وضرب رجلًا على حال رآه منه في مال يتيم، كان ينظر له، وأطافه. وأورد أموال الغيَّب ومن لا وارث له بيت المال، وسجل بجميع ذلك وكتب إليه المعتصم يأمره بأخذ الفقهاء بالمحنة فاستعفى من ذلك. فكتب ابن أبي دؤاد إلى أبي بكر الأصم يأمره بأخذهم بذلك. فكان رأسًا في ذلك يحمل الناس فيها، فكان هارون يقول: الحمد لله على معافاتي مما ابتلي به غيري. فذكر أنه نال علماء مصر في ذلك محنة عظيمة. وإن ابن عبد الحكم الكبير ضرب بالسياط، وضرب بنو عبد الحكم كلهم، وامتحنوا.