قال الكوثري: من مغفلي الزهاد، دفن كتبه واختلط، واستقر الأمر على أنه لا يحتج به.
فقال الشيخ المعلمي:
"أما التغفيل والاختلاط فمن مفتريات الكوثري، وأما دفن كتبه فصحيح، وكذلك فعل آخرون من أهل الورع؛ كانوا يرون أن حفظ الحديث وروايته فرض كفاية، وأن في غيرهم من أهل العلم من يقوم بالكفاية وزيادة، ويرون أن التصدي للرواية مع قيام الكفاية بغيرهم لا يخلو من حظ النفس بطلب المنزلة بين الناس، ثم لم يتصد يوسف للرواية بعد أن دفن كتبه، ولكن كان يأمر بالمعروف ويَنهى عن المنكر، ويُرغِّب في الطاعة ويُحذر من المعصية، ويَحُضُّ على اتِّباع السُّنة، ويُنَفِّرُ عن البدعة، فربما احتاج في أثناء ذلك لرواية الحديث، فيذكره من حفظه، فقد يقع له الخطأ في مظانه، وإلى أي حدٍّ كان ذلك؟
قال ابن معين: "ثقة"، وقال ابن حبان في "الثقات": "كان من عباد أهل الشام وقرائهم، سكن أنطاكية، وكان لا يأكل إلا الحلال، فمان لم يجده استف التراب، وكان من خيار أهل زمانه، مستقيم الحديث، ربما أخطأ، مات سنة ١٩٥ ".
فعبارة ابن حبان تعطي أن خطأه كان يسيرًا، لا يمنع من الاحتجاج بخبره حيث لم يتبين خطؤه، ويشهد لذلك إطلاق ابن معين أنه ثقة. وقال البخاري: "كان قد دفن كتبه، فصار لا يجيء بالحديث كما ينبغي".