فقال: قد علم أمير المؤمنين أنا أهل طاعة أنا وأبي وجدي، فقال: والله لتأتين به أو لأزهقن نفسك.
فرفع خالد صوته، وكان الوليد بالقرب، فقال: قل له: هذا أردت، وإياه اعتمدت، وعليه درت، والله لو كان تحت قدميّ ما رفعتهما لك عنه فاصنع ما بدا لك.
فأمر الوليد غيلان صاحب حرسه بالبسط عليه وقال: أسمعني صوته. فأتى به غيلان رحله فعذبه بالسلاسل فلم يتكلم فأعلم الوليد بذلك وقال: لم أر أصبر منه، ما ينطق بشيء. فقال: احبسه عندك فحبسه حتى قدم يوسف بن عمر بمال العراق، وجلس الوليد وأذن للناس ويوسف عنده فتكلم أبان بن عبد الله النميري في خالد فقال يوسف: إني أشتريه بخمسين ألف ألف درهم، فأرسل الوليد إلى خالد: إن يوسف يشتريك بخمسين ألف ألف درهم فإن ضمنتها وخرجت منها وإلا دفعتك إليه. فقال خالد:
ما عهدت العرب تباع، والله لو سألتموني أن أضمن هذا - وأخذ عودا من الأرض - ما ضمنته فلير أمير المؤمنين رأيه، فدفعه إلى يوسف فنزع ثيابه ودرّعه عباءة ولحفه أخرى وحمله في محمل بغير وطاء ولا غطاء، وجعل زميله أبا قحافة المرّي ابن أخي الوليد بن تليد، وكان الوليد عامل هشام على الموصل، فانطلق به حتى نزل على مرحلة من عسكر الوليد ثم دعا به فشتمه وذكر أمه فقال: ما ذكر الأمهات لعنك الله، والله ما أكلمك كلمة أبدا.
فبسط عليه وعذبه عذابا شديدا وهو لا يكلمه، ثم ارتحل به حتى إذا كان في بعض الطريق بعث إليه تميم بن زيد القيني بشربة سويق حب الرمان مع مولى له يقال له سالم، فبلغ ذلك يوسف فضرب تميما خمسمائة سوط،