كان لآل برمك نفوذ كبير في دولة الرشيد إذ كان يحيى بن خالد مربيا للرشيد وكان أولاده جعفر والفضل وموسى ومحمد أتراب الرشيد، ثم تغيرت أحوال البرامكة وتبدل لهم الرشيد فجأة فقتل جعفر بن يحيى وسجن يحيى وابنه الفضل وصادر أملاكهم وقد قيل في سبب ذلك أشياء منها أنهم يعني البرامكة زاد نفوذهم كثيرا وزادت مصروفاتهم كثيرا حتى فاقوا الخليفة بذلك مما جعل أمرهم مريبا مخيفا وقيل بل لأن الرشيد لما جعل يحيى بن عبدالله بن الحسن عند جعفر بن يحيى البرمكي ليحبسه عنده أطلقه، وقيل بل لأن الرشيد لما كان يحب أن يجتمع مع جعفر وأخته العباسة (أخت الرشيد) وهي محرمة على يحيى فزوجها الرشيد من جعفر على أن لا يقربها بل فقط ليجتمعوا ويسمروا سويا ولكن جعفرا أتاها فحملت العباسة منه ولما ولدت وجهته إلى مكة ثم علم الرشيد بذلك من بعض حواضن العباسة فعد ذلك خيانة من جعفر فلما رجع الرشيد من حجه عام ١٨٦ هـ قتل جعفرا وأمر بسجن يحيى بن خالد وأولاده ثم أخرج يحيى لكبر سنه وأخرج الصغار من أولاده وأما الفضل فمات في السجن.
(تنبيه): التاريخ الميلادي تقريبي نظراً لاشتماله على أكثر من عام هجري أحياناً