وكان سبب سخطه على محمد بن خالد القسري، أنه حين ولاه المدينة تقدم إليه في أخذ محمد وإبراهيم ابني عبد الله بن حسن بن حسن حتى ينفذهما إليه موثقين أو يقتلهما، فقصر محمد بن خالد حتى عزل، وخرجا عليه، فحقد ذلك عليه أبو جعفر؛ فعزله واستصفى أموالهم.
قال خالد بن سليمان بن مهاجر: سقط خاتم للرائقة جارية خالد بن عبد الله القسري اشتراه لها بعشرين ألف درهم في بلاعة الدار؛ فاغتمت وقالت: يا مولاي جئني بمن يخرجه، فقال لها: نخلفه عليه ولا يعود في يدك، وقد صار في ذلك الموضع، ويدك أعز علي من ذلك. ثم قال: من الطويل
أرائق لا تأسي على خاتمٍ هوى ... فللأرض من حظّ الكرام نصيب
فاشترى لها بدله فصاً بخمسة آلاف دينار.
قال المبرد: وجلس خالد بن عبد الله القسري ذات يوم للعرض، فأتي بشاب قد أخذ في دار قوم، وادعوا عليه السرق، فسأله عما حكي عنه، فأقر به، فأمر خالد بقطع يده، فإذا جارية قد أتته لم ير أحسن منها وجهاً، فدفعت إلى خالد رقعة كان فيها: من الطويل
أخالد قد أوطأت والله عشوةً ... وما العاشق المسكين فينا بسارق
أقرّ بما لم يجنه غير أنّه ... رأى القطع أولى من فضيحة عاشق
قال: فسأله خالد عن أبيها، فأحضره وزوجها من الرجل الشاب، ودفع مهرها من عنده عشرة آلاف درهم.