قد تقدم ذكرنا الخبر عن عزل هشام إياه عن عمله وولايته العراق وخراسان واستعماله على العراق يوسف بن عمر؛ وكان - فيما ذكر - عمل لهشام على ذلك خمس عشرة سنة غير أشهر؛ وذلك أنه - فيما قيل - ولي العراق لهشام سنة خمس ومئة، وعُزل عنها في جمادي الأولي سنة عشرين ومئة، ولما عزله هشام وقدم عليه يوسف واسطًا أخذه وحبسه بها، ثم شخص يوسف بن عمر إلى الحِيرة، فلم يزل محبوسًا بالحيرة تمام ثمانية عشر شهرًا مع أخيه إسماعيل بن عبد الله وابنه يزيد بن خالد وابن أخيه المنذر بن أسد بن عبد الله، واستأذن يوسف هشامًا في إطلاق يده عليه وتعذيبه، فلم يأذن له حتى أكثر عليه، واعتلّ عليه بانكسار الخراج وذهاب الأموال، فأذن له مرّة واحدة، وبعث حرسيًّا يشهد ذلك، وحلف: لئن أتى على خالد أجلُه، وهو في يده ليقتلنّه؛ فدعا به يوسف؛ فجلس على دُكان بالحيرة وحضر الناس، وبسط عليه؛ فلم يكلّمه واحدةً حتى شتمه يوسف، فقال: يابنَ الكاهن - يعني شِقّ بن صعب الكاهن - فقال له خالد: إنك لأحمق، تعيّرني بشرفي! ولكن يا بن السبّاء، إنما كان أبوك سَبّاء خمر - يعني يبيع الخمر - ثم ردّه إلى حبسه، ثم كتب إليه هشام يأمره بتخلية سبيله في شوال سنة إحدى وعشرين ومئة، فنزل خالد في قصر إسماعيل بن عبد الله بدُوران، خلْف جسر الكوفة، وخرج يزيد بن خالد وحده؛ فأخذه على بلاد طّييء؛ حتى ورد دمشق، وخرج خالد ومعه إسماعيل والوليد؛ قد جهَّزهم عبد الرحمن بن عنبسة بن سعيد ما أخذ لهم، وردّ بعض الموالي إلى الرّقّ، فقدم خالد قصر بني مقاتل؛ وقد أخذ كل شيء لهم، فسار إلى هِيت، ثم تحمَّلوا إلى القرية - وهي بإزاء باب الرُّصافة - فأقام بها بقيَّة شوال وذا القعدة وذا الحجة والمحرّم وصَفر؛ لا يأذن لهم هشام في القدوم عليه، والأبْرَشُ يكاتب خالدًا، وخرج زيد بن عليّ فقُتِل.
قال الهيثم بن عديّ - فيما ذكر عنه -: وكتب يوسف إلى هشام: إن أهلَ هذا البيت من بني هاشم قد كانوا هلكوا جوعًا؛ حتى كانت همَّةُ أحدهم قوت عياله؛ فلما ولي خالد العراق أعطاهم الأموال فقَوْوا بها حتى تاقت أنفسهم إلى طلَب