وأما في تعظيمه للعلم وإكرامه لطلبة العلم فما كان يهين العلم كما يفعل بعض الناس الذين يهينون العلم ويضعونه في غير موضعه، ويأتون به الأبواب، لا بد أن يكرم العلم مثلما فعل أبو عبيد رحمه الله.
وهذه قصة أخرى له: كان طاهر بن عبد الله بـ بغداد، هذا الأمير كان يود أن يأتي إليه أبو عبيد؛ ليسمع منه كتاب غريب الحديث في منزله، ويُقال: إن فلاناً أتى عنده أبو عبيد (المؤلف) إلى البيت، وحدَّثه بالكتاب، فرفض أبو عبيد القاسم بن سلاَّم، إجلالاً لحديث رسول الله صلى الله عليه وسلم قال: تريد أن تسمع؟ ولما قدِم علي بن المديني، وعباس العنبري، إلى أبي عبيد طلباً لسماع كتابه غريب الحديث كان يحمل كل يومٍ كتابه ويأتيهما في منزلهما فيحدثهما به، مع أنهما جاءا إليه يطلبانه، فكان يذهب إليهما، هؤلاء أهل العلم وطلبة العلم يُؤتَون ويكرَمون، ووضع العلم عندهم وضع في مكان ومحل مناسب، هذه حكمة، إجلالاًَ لعلم علي بن المديني وعباس العنبري، كان أبو عبيد يأتي إليهما ليحدثهما في بيتهما، ويصون العلم ويُكرمه من أن يُؤتى به إلى الأبواب.