قال جعفر بن محمد بن علي بن المديني: سمعت أبي يقول: خرج أبي إلى أحمد بن حنبل يعوده وأنا معه، فدخل إليه، وعنده يحيى بن معين وجماعة، فدخل أبو عبيد، فقال له يحيى: اقرأ علينا كتابك الذي عملته للمأمون " غريب الحديث " فقال: هاتوه، فجاءوا بالكتاب، فأخذه أبو عبيد فجعل يبدأ يقرأ الأسانيد، ويدع تفسير الغريب، فقال أبي: دعنا من الإسناد، نحن أحذق بها منك. فقال يحيى بن معين لأبي: دعه يقرأ على الوجه، فإن ابنك معك، ونحن نحتاج أن نسمعه على الوجه. فقال أبو عبيد: ما قرأته إلا على المأمون، فإن أحببتم أن تقرءوه، فاقرءوه. فقال له ابن المديني: إن قرأته علينا، وإلا لا حاجة لنا فيه، ولم يعرف أبو عبيد علي بن المديني، فقال ليحيى: من هذا؟ فقال: هذا علي بن المديني. فالتزمه، وقرأه علينا. فمن حضر ذلك المجلس، جاز أن يقول: حدثنا. وغير ذلك، فلا يقول.
رواها إبراهيم بن علي الهجيمي، عن جعفر.
قال أبو بكر بن الأنباري: كان أبو عبيد - رحمه الله - يقسم الليل أثلاثا فيصلي ثلثه، وينام ثلثه، ويصنف الكتب ثلثه.
قال عبد الله بن أبي مقاتل البلخي، عن أبي عبيد: دخلت البصرة لأسمع من حماد بن زيد، فقدمت فإذا هو قد مات، فشكوت ذلك إلى عبد الرحمن بن مهدي فقال: مهما سبقت به، فلا تسبقن بتقوى الله.