يحيى على أرمينية ووكله المهدي بكفالة الرشيد فأحسن تربيته ودفع عنه أخاه الهادي أراده على الخلع وتولية العهد ابنه وحبسه الهادي لذلك. فلما ولي الرشيد استوزر يحيى وفوّض إليه أمور ملكه وكان أوّلا يصدر عن رأي الخيزران أمّ الرشيد، ثم استبدّ بالدولة. ولما ماتت وكان بيتهم مشهورا بالرجال من العمومة والقرابة، وكان بنوه جعفر والفضل ومحمد قد شابهوا آباءهم في عمل الدولة واستولوا على حظّ من تقريب السلطان واستخلاصه. وكان الفضل أخاه من الرضاع أرضعت أمّه الرشيد وأرضعته الخيزران وكان يخاطب يحيى يا أبت واستوزر الفضل وجعفرا وولّى جعفرا على مصر وعلى خراسان وبعثه إلى الشام عند ما وقعت الفتنة بين المضريّة واليمانيّة، فسكّن الأمور ورجع. وولّى الفضل أيضا على مصر وعلى خراسان وبعثه لاستنزال يحيى بن عبد الله العلويّ من الديلم ودفع المأمون لما ولّاه العهد إلى كفالة جعفر بن يحيى فحسنت آثارهم في ذلك كله. ثم عظم سلطانهم واستيلاؤهم على الدولة وكثرت السعاية فيهم وعظم حقد الرشيد على جعفر منهم، يقال بسبب أنه دفع إليه يحيى بن عبد الله لما استنزله أخوه الفضل من الديلم، وجعل حبسه عنده فأطلقه استبدادا على السلطان ودالة وأنهى الفضل بن الربيع ذلك إلى الرشيد فسأله فصدّقه الخبر فأظهر له التصويب وحقدها عليه، وكثرت السعاية فيهم فتنكّر لهم الرشيد. ودخل عليه يوما يحيى بن خالد بغير إذن فنكر ذلك منه، وخاطب به طبيبه جبريل بن بختيشوع منصرفا به من مواجهته وكان حاضرا فقال يحيى: هو عادتي يا أمير المؤمنين، وإذ قد نكرت مني فسأكون في الطبقة التي تجعلني فيها! فاستحيى هارون وقال: ما أردت ما يكره. وكان الغلمان يقومون بباب الرشيد ليحيى إذ دخل، فتقدّم لهم مسرور الخادم بالنهي عن ذلك فصاروا يعرضون عنه إذا أقبل، وأقاموا على ذلك زمانا. فلما حجّ الرشيد سنة سبعة وثمانين ورجع من حجّه ونزل الأنبار أرسل مسرورا الخادم في جماعة من الجند ليلا فأحضر جعفرا بباب الفسطاط وأعلم الرشيد فقال: ائتني برأسه فطفق جعفر يتذلّل ويسأله المراجعة في أمره حتى قذفه الرشيد بعصي كانت في يده وتهدّده فخرج وأتاه برأسه وحبس الفضل من ليلته وبعث من احتاط على منازل يحيى وولده وجميع موجودهم وحبسه في منزله وكتب من ليلته إلى سائر النواحي بقبض أموالهم ورقيقهم، وبعث من الغد بشلو جعفر وأمر أن يقسم قطعتين.. وبنصبان على الجسر، وأعفى محمد بن خالد من النكبة ولم يضيّق على يحيى ولابنه الفضل ومحمد