ابن خلكان قال: لما أراد هشام عزل خالد عن العراق، وعنده رسول يوسف بن عمر من اليمن، قال: إن صاحبك قد تعدى طوره، وفعل وفعل، ثم أمر بتخريق ثيابه وضربه أسواطا، وقال: امض إلى صاحبك فعل الله به، ثم دعا بسالم كاتبه، وقال: اكتب إلى يوسف، سر إلى العراق واليا سرا، واشفني من ابن النصرانية وعماله، ثم أمسك الكتاب بيده، وجعله في طي كتاب آخر، ولم يشعر الرسول، فقدم اليمن، فقال يوسف: ما وراءك؟ قال: الشر، ضربني أمير المؤمنين، وخرق ثيابي، ولم يكتب إليك، بل إلى صاحب ديوانك. ففض الكتاب وقرأه، ثم وجد الكتاب الصغير، فاستخلف على اليمن ابنه. . الصلت، وسار إلى العراق، وجاءت العيون إلى خالد، فأشار عليه نائبه طارق ائذن لي إلى أمير المؤمنين، وأضمن له مالي السنة مائة ألف ألف، وآتيك بعهدك، قال: ومن أين هذه الأموال؟ قال: أتحمل أنا وسعيد بن راشد أربعين ألف ألف، وأبان والزينبي عشرين ألف ألف، ويفرق الباقي على باقي العمال، فقال: إني إذا للئيم أسوغهم شيئا، ثم أرجع فيه، قال: إنما نقيك، ونقي أنفسنا ببعض أموالنا، وتبقى النعمة علينا، فأبى، فودعه طارق، ووافى يوسف، فمات طارق في العذاب، ولقي خالد كل بلاء، ومات في العذاب جماعة من عماله بعد أن استخرج منهم يوسف تسعين ألف ألف درهم.