سبب ذلك أن يحيى بن الأشعث الطائي كان قد تزوج ابنة عم له ثم تركها بسمرقند فترة فأرادت أن تخلص من زواجها له فعلم رافع بأمرها فتزوجها بعد أن قال لها أن تظهر الشرك ثم تتوب فينفسخ نكاحها فشكاه يحيى إلى الرشيد فأمر الرشيد عامله على سمرقند علي بن عيسى بن ماهان أن يحده ويطلق منه امرأته ويطيفه على حمار في سمرقند للعبرة ففعل لكنه لم يحده وحبسه فهرب من الحبس فلحق ببلخ فأراد عاملها علي بن عيسى قتله فشفع فيه ابنه فكف عنه فلما انصرف إلى سمرقند قتل عامل علي بن عيسى عليها فجمع له جيشا لقتاله وكان ابنه قد قتله رافع هذا فخرج علي بن عيسى من بلخ فلما علم الرشيد بذلك خلعه وعين بدلا عنه هرثمة بن أعين.
(تنبيه): التاريخ الميلادي تقريبي نظراً لاشتماله على أكثر من عام هجري أحياناً