وأبى أن يليها، وألزمه ذلك أمير المؤمنين الرشيد، فأقام بذلك ثلاث ليال يلزموها ويأبى عليه قبولها، ثم قال في الليلة الثالثة: أغد على بالغداة إن شاء الله. فغدا عليه، فدعا أمير المؤمنين بقناة وعمامة، فعقد اللواء بيده، ثم قال له: عليك طاعة؟ قال: نعم يا أمير المؤمنين. قال: فخذ هذا اللواء. فأخذه، وقال له: أما إذ ابتليتني يا أمير المؤمنين بعد العافية، فلا بد لي من أن أشترط لنفسي.
قال له: فأشترط لنفسك. فأشترط خلالاً، منها أنه قال له: مال الصدقات مال قسمه الله بنفسه، ولم يكله إلى أحد من خلقه، فلست أستجير أرتزق منه، ولا أن أرزق المرتزقة منه، فأحمل معي رزقي ورزق المرتزقة من مال الخراج. قال: قد أحببتك إلى ذلك. قال: وأنفذ من كتبك ما أرى، وأقف عما لا أرى. قال: وذلك لك.
فولى المدينة، وكان يأمر بمال الصدقات يصير إلى عبد العزيز بن محمد الدراوردي وإلى آخر معه، وهو يحيى بن أبي غسان الشيخ الصالح، من أهل الفضل، فكانا يقسمانه.
ثم وله أمير المؤمنين هارون الرشيد اليمن، وزاده معها ولاية عكٍ، وكانت عكٌّ إلى والي مكة، ورزقة ألفي دينار في كل شهر. فقال يحيى ابن خالد: يا أمير المؤمنين، كان رزق والي اليمن ألف دينار، فجعلت رزق عبد الله