وصنف المسند على حدته وأحاديث كل رجل من الصحابة والتابعين على حدته، وأجاد تصنيفه، فرغب فيه أهل الحديث والفقه واللغة لاجتماع ما يحتاجون إليه فيه. وكذلك كتابه في " معاني القرآن "، وذلك أن أول من صنف في ذلك من أهل اللغة أبو عبيدة معمر بن المثنى، ثم قطرب بن المستنير، ثم الأخفش. وصنف من الكوفيين: الكسائي، ثم الفراء؛ فجمع أبو عبيد من كتبهم، وجاء فيه بالآثار وأسانيدها، وتفاسير الصحابة والتابعين والفقهاء. وروى النصف منه ومات قبل أن يسمع باقيه، وأكثره غير مروي عنه. وأما كتبه في الفقه، فإنه عمد إلى مذهب مالك والشافعي، فتقلد أكثر ذلك، وأتى بشواهده، وجمعه من حديثه ورواياته، واحتج فيها باللغة والنحو، فحسنها بذلك. وله في القرآن كتاب جيد، ليس لأحد من الكوفيين قبله مثله. وكتابه " في الأموال " من أحسن ما صنف في الفقه وأجوده.
قال أبو الحسن محمد بن جعفر بن هارون التميمي النحوي: كان طاهر بن الحسين حين مضى إلى خراسان نزل بمرو، وطلب رجلاً يحدثه ليلةً، فقيل ما هاهنا إلا رجل مؤدب؛ فأدخل عليه أبو عبيد القاسم بن سلام، فوجده أعلم الناس بأيام الناس والنحو واللغة والفقه، فقال له: من المظالم تركك أنت بهذا البلد؛ فدفع إليه ألف دينار، وقال له: أنا متوجه إلى خراسان إلى حول، وليس أحب اصطحابك شفقاً عليك، فأنفق هذه إلى أن أعود إليك، فألف أبو عبيد " غريب المصنف "، إلى أن عاد طاهر بن الحسين من خراسان، فحمله معه إلى سر من رأى. وكان أبو عبيد ديناً ورعاً جواداً.
قال الفسطاطي: كان أبو عبيد مع ابن طاهر، فوجه إليه أبو دلف يستهديه أبا عبيد مدة شهرين،