وكان يحيى بن أكثم أعور. وقد وردت عنه حكايات في ميله إلى المرد. كان ميله إلى الملاح ونظره إليهم في حال الشبيبة والكهولة. فلما شاخ أقبل على شأنه، وبقيت الشناعة عليه استصحابا للحال.
قال أبو العيناء: تولى يحيى بن أكثم وقف الأضراء فطالبوه، ثم اجتمعوا فقال: ليس لكم عند أمير المؤمنين شيء. فقالوا: لا تفعل يا أبا سعيد. فقال: الحبس الحبس. فحبسوا، فلما كان الليل ضجوا، فقال المأمون: ما هذا؟ قيل: الإضراء. فقال له: لم حبستهم أعلى أن كنوك؟ قال: بل حبستهم على التعريض بشيخ لائط في الخريبة.
وقال أبو بكر الخرائطي: حدثنا فضلك الرازي قال: مضيت أنا وداود الأصبهاني إلى يحيى بن أكثم، ومعنا عشرة مسائل، فأجاب في خمسة منها أحسن جواب. ودخل غلام مليح، فلما رآه، اضطرب، فلم يقدر يجيء ولا يذهب في المسألة السادسة، فقال داود: قم، فإن الرجل قد اختلط.
وقال أبو العيناء: كنا في مجلس أبي عاصم، وكان أبو بكر بن يحيى بن أكثم حاضرا، فنازع غلاما، فقال أبو عاصم: مهيم. قالوا: أبو بكر ينازع غلاما. فقال: إن يسرق فقد سرق أب له من قبل.
وقد هجي يحيى بأبيات مفرقة أعرضت عنها.
قال الخطيب: لما استخلف المتوكل صير يحيى بن أكثم في مرتبة أحمد بن أبي دؤاد، وخلع عليه خمس خلع.
وقال نفطويه: لما عزل يحيى بن أكثم عن القضاء بجعفر بن عبد الواحد الهاشمي جاءه كاتبه، فقال: سلم الديوان. فقال: شاهدان عدلان على أمير المؤمنين أنه أمرني بذلك. فلم يلتفت، وأخذ منه الديوان قهرا، وغضب عليه المتوكل وأمر بقبض أملاكه، ثم حول إلى بغداد، وألزم بيته.