ولم يكن لأبيه نفسه من سعة النفوذ خلال الأعوام السبعة عشر التي قضاها في الحكم ما يروى عنه، وكان عليه في الأعوام الأولى لحكمة أن يعرض شئون الرعية على الخيزران أم الخليفة المتوفاة سنة ١٧٣ هـ الموافق ٧٨٩ - ٧٩٠ م، فلما توفيت احتجز الرشيد الخاتم من جعفر وعهد بجانب كبير من أمور الرعية إلى الفضل بن الربيع وهو الذي نافسهم وخلفهم على دست الوزارة فيما بعد. وفي عام ١٧٩ هـ الموافق ٧٩٥ - ٧٩٦ م خلف الفضل محمدًا بن خالد البرمكى في الحجابة وكان استعمال علي بن عيسى بن ماهان على خراسان مخالفًا لرغبة الوزير (الطبري، ج ٣، ص ٧٠٢). وفي حجة عام ١٨١ هـ (أوائل عام ٧٩٨ م) أجيب إلى طلبه في اعتزال الحكم والبقاء في مكة (الطبري، ج ٣، ص ٦٤٦)، ولكنه عاد إلى بغداد في العام التالي، ويظهر أنه تسلم أزمة الحكم مرة أخرى.
ويتضح من هذه الأقوال أن نكبة البرامكة سبقتها تمهيدات من زمان طويل، ولم تكن راجعة إلى رغبة فجائية للخليفة. ففي الليلة الأولى من صفر عام ١٨٧ هـ (٢٩ يناير عام ٨٠٣ م) قتل جعفر بأمر الخليفة وأعقب ذلك زج يحيى وأبنائه الثلاثة الآخرين في السجن وصودرت أملاكهم وأعطى الأمان لأقارب الوزير، ولم يلحق بمحمد بن خالد، أخي يحيى، وأسرته مكروه؛ ثم أمر الرشيد فعلق رأس جعفر على جسر بغداد الأوسط, كما علق نصفا جسمه على الجسرين الآخرين، واحتجز الوزير وأبناؤه في مدينة الرَقَّة. ومات يحيى والفضل قبل الخليفة، ولا نعرف شيئًا عن مصير موسى ومحمد. ويظهر أن عِمْران بن موسى كان الحفيد الوحيد للوزير البرمكى الذي برز في الشئون العامة، فقد ذكر في حوادث سنة ١٩٦ هـ الموافق ٨١١ - ٨١٢ م أنه دافع عن المدائن بلد آل ساسان أمام جيش المأمون (الطبري، ج ٣، ص ٨٥٩ وما بعدها)؛ ثم ورد ذكره مرة أخرى سنة ٢١٦ هـ (٨٣١ م) نائبًا لعامل السند (المصدر السابق، ج ٣، ص ١١٠٥). كما ذكر أبو القاسم عباس بن محمَّد