ولايتها حتى كنت أن آخر من خرج يستعفي له، فأعفاه. وسار في أهل اليمن من العدل بما هم يذكرونه بعد وفاته. وكانوا يصيحون بأمير المؤمنين الرشيد إذ حج: رد علينا ابن مصعب. فيقول لبعض من معه: واين ابن مصعب رحمه الله؟ حدثنا الزبير قال، وحدثني عثمان بن عمران بن عثمان بن عبد الله ابن زياد، عن أبيه قال: قال أمير المؤمنين الرشيد: كنا نظن عبد الله ابن مصعب يصحبنا على ما يصحبنا عليه الناس من طلب الدنيا، فعرضناها عليه فلفظها.
وأخرج أمير المؤمنين هارون الرشيد لأهل المدينة على يديه عطاء وكسوة مع العطاء، ونزل قصر عروة بن الزبير بالعقيق، وأخرج لأشراف القريشيين ومشيختهم ووجوه الناس جوائز كثيرة.
ولما ولى أمير المؤمنين الرشيد عبد الله بن مصعب اليمن، استعمل أمير المؤمنين ابنه أبا بكر بن عبد الله بن مصعب على المدينة، ورزقه على ولايتها ألف دينار، وذلك كان رزق واليها.
حدثنا الزبير قال، وحدثني العتبي، عن رجل سماه فأنسيت أسمه قال: أبا بكر بن عبد الله بن مصعب يتكلم فيعجبني كلامه، وأسمع شبيب