وكان يحيى بن خالد والد جعفر ناظرا على قصر الرشيد وحرمه، وكان يضيق عليهن، فشكته زبيدة إلى الرشيد، فقال لها: يحيى عندي غير متهم في حرمي، فقالت: لم لم يحفظ ابنه مما ارتكبه؟ قال: وما هو؟ فخبرته خبر العباسة، فقال: وهل على هذا من دليل؟ قالت: وأي دليل أدل من الولد؟ قال: وأين هو؟ قالت: كان هنا، فلما خافت ظهوره .. وجهته إلى مكة، قال: فهل علم بذلك سواك؟ قالت: ليس بالقصر جارية إلا وقد علمت به، فسكت وأظهر إرادة الحج، وخرج معه بجعفر إلى مكة، فكتبت العباسة إلى الخادم والداية بالخروج بالصبي إلى اليمن، فلما بلغ الرشيد مكة .. وكّل من يثق به بالبحث عن أمر الصبي، فوجده صحيحا، فأضمر السوء للبرامكة.
ويؤيد ذلك قول أبي نواس:[من الهزج]
ألا قل لأمين الله ... وابن القادة الساسة
إذا ما ناكث سر ... ك أن تفقده راسه
فلا تقتله بالسيف ... وزوجه بعباسة
وقيل: السبب في ذلك: أن يحيى بن عبد الله بن الحسن كان خرج على بني العباس، فظفر به الرشيد، وسلمه إلى جعفر وأمره بحبسه، فقال يحيى لجعفر: اتق الله في أمري، ولا تتعرض أن يكون خصمك محمد صلّى الله عليه وسلم، فرقّ له جعفر وقال: اذهب حيث شئت من البلاد، فدعا له وانصرف، ثم إن الرشيد قال لجعفر: ما فعل يحيى؟ قال:
بحاله، قال: بحياتي؟ فوجم وأحجم وقال: وحياتك أطلقته حيث علمت أن لا سوء عنده، قال: نعم الفعل، وما عدوت ما في نفسي، فلما نهض جعفر .. أتبعه بصره وقال:
قتلني الله إن لم أقتلك.
وقيل: السبب فيه: أنه رفعت إلى الرشيد قضية لم يعرف رافعها، وفيها هذه الأبيات:[من السريع]
قل لأمين الله في أرضه ... ومن إليه الحل والعقد
هذا ابن يحيى قد غدا ملكا ... مثلك ما بينكما حد
أمرك مردود إلى أمره ... وأمره ليس له رد
وقد بنى الدار التي ما بنى ال ... فرس لها مثلا ولا الهند