ويقال إن أهل الموصل لم يوقّروا عاملا كما وقروا خالدًا، مع أنه لم يكن يلجأ إلى القسوة قلط في تأديبهم. ويذهب المسعودى (المروج، ج ٦ ص ٣٦١) إلى أن أحدًا من أبنائه لم يضارعه في نبل خصاله.
ويذكر ابن خلكان أن ابنه يحيى توفي في الثالث من المحرم عام ١٩٠ هـ (التاسع والعشرين من نوفمبر عام ٨٠٥ م) بالغًا من العمر السبعين أو الرابعة والسبعين، فيكون قد ولد بلا ريب عام ١٢٠ هـ (٧٣٨ م) أو قبل ذلك ببضع سنين، وهو -على خلاف أبيه- لم يشتهر إلا بأنه كان عاملا ووزيرًا، فلم يرو عنه غزو أو فتح. وأهم ما خلفه من الأعمال قناة سيحان بالبصرة (الطبري، ج ٣، ص ٦٤٥، البلاذرى، ص ٣٦٣). وعهد إليه الخليفة المهدي بتأديب ابنه هارون عام ١٦١ هـ (٧٧٧ - ٧٧٨ م) وبعد عام ١٦٣ هـ (٧٧٩ - ٧٨٠ م) كان يحيى يشرف على ديوان الرسائل لولى العهد الذي استعمل على الغرب (أي جميع الولايات غربي الفرات) بما في ذلك أرمينية وآذربيجان وتعرضت حياته للخطر في الفترة القصيرة التي حكم فيها الخليفة الهادي، لاتصاله الوثيق بهارون الذي رغب خصومه في إرغامه على النزول عن حقه في ولاية العهد. ولكن ما كاد هذا يصل إلى الخلافة حتى استوزر يحيى، وكان لا يزال يدعوه "يا أبت"، وأعطاه سلطة لا حد لها. ومكث يحيى يحكم بمعاونة ولديه الفضل وجعفر سبعة عشر عامًا (٧٨٦ - ٨٠٣ م). أما ابناه الآخران موسى ومحمد فيندر أن يرد لهما ذكر.
وكان الفضل المولود عام ١٤٨ هـ (٧٦٥ - ٧٦٦ م) أكبر ابني يحيى وأعظم من أخيه شأنًا واستُعمل بين عامي ١٧٦ هـ (٧٩٢ - ٧٩٣ م) و ١٨٠ هـ (٧٩٦ - ٧٩٧ م) على الولايات التي كانت تشمل الجبال وطبرستان ودُنْباوَنْد وقومِس كما استعمل مدة من الزمن على أرمينية وآذربيجان وكذلك على خراسان من عام ١٧٨ هـ (٧٩٤ - ٧٩٥ م) إلى ١٧٩ هـ (٧٩٥ - ٧٩٦ م). ويقول اليعقوبى (تاريخه، ج ٢، ص ٥١٦) إنه لم يوفق في حروبه في