يديه، فأحد النظر إليه، فتبسم، فقال له الواثق: يا يحيى، بحياتي لتبتلنه، فقال: إني وحياتك منزه.
دخل ابنا مسعدة على يحيى بن أكثم، وكانا في نهاية الجمال، فلما رآهما يمشيان في الصحن أنشأ يقول:
يا زائرينا من الخيام ... حياكما الله بالسلام
لم تأتياني وبي نهوض ... إلى حلال ولا حرام
يحزنني أن وقفتما بي ... وليس عندي سوى الكلام
ثم أجلسهما بين يديه وجعل يمازحهما حتى انصرفا وقيل: إن يحيى عزل عن الحكم بسبب هذه الأبيات التي أنشدها لما دخل عليه ابنا مسعدة.
ولما عزل يحيى بن أكثم عن القضاء بجعفر بن عبد الواحد جاءه كاتبه فقال: سلم الديوان، فقال: شاهدان عدلان على أمير المؤمنين أنه أمرني بذلك، فأخذ منه الديوان قهراً، وغضب عليه المتوكل، فأمر بقبض أملاكه، ثم أدخل مدينة السلام، وألزم منزله.
وكان المتوكل قد صير يحيى بن أكثم في مرتبة أحمد بن أبي دواد وخلع عليه خمس خلع.
قال إسماعيل بن إسحاق: كان يحيى بن أكثم يقول: أبرأ إلى الله عز وجل من أن يكون في شيء مما رميت به من أمر الغلمان. قال: ولقد كنت أقف على سرائره فأجده شديد الخوف لله، ولكنه كانت فيه دعابة وحسن خلق، فرمى بما رمي به.
قال عبد الله بن محمود: رأيت قاضي القضاة يحيى بن أكثم بمكة يلاحظ حجاماً عليه أنف كأنه برج فقلت له: أيها القاضي، ما هذا الوقوف؟! فقال: ذرني، فإني أريد أنظر إلى هذا، كيف يستوي له مص المحجمة مع هذا الأنف. وكان رجل بين يدي الحجام، ففطن به