قال إبراهيم الحربي: كان أبو عبيد كأنه جبل نفخ فيه الروح يحسن كل شيء. وولي القضاء بمدينة طرسوس ثماني عشرة سنة، وروى عن أبي زيد الأنصاري والأصمعي وأبي عبيدة وابن الأعرابي والكسائي والفراء وجماعة كثيرة غيرهم، وروى الناس من كتبه المصنفة بضعة وعشرين كتابا في القرآن الكريم والحديث وغريبه والفقه وله الغريب المصنف والأمثال ومعاني الشعر وغير ذلك من الكتب النافعة.
ويقال إنه أول من صنف في غريب الحدي. وانقطع إلى عبد الله بن طاهر مدة، ولما وضع كتاب الغريب عرضه على عبد الله بن طاهر، فاستحسنه وقال: إن عقلا بعث صاحبه على عمل هذا الكتاب حقيق ألا يحوج (١) إلى طلب المعاش، وأجري عليه عشرة آلاف درهم في كل شهر. وقال محمد بن وهب المسعري: سمعت أبا عبيد يقول: كنت في تصنيف هذا الكتاب أربعين سنة، وربما كنت أستفيد الفائدة من أفواه الرجال فأصعها في موضعها من الكتاب، فأبيت ساهرا فرحا مني بتلك الفائدة، وأحدكم يجيئني فيقيم أربعة خمسة أشهر فيقول: قد أقمت كثيرا.
وقال الهلال بن العلاء الرقي: من الله تعالى على هذه الأمة بأربعة في زمانهم: بالشافعي تفقه في حديث رسول الله صلى الله عليه وسلم، وبأحمد بن حنبل ثبت في محنة ولولا ذاك لكفر الناس، وبيحيى بن معين نفى الكذب عن حديث رسول الله صلى الله عليه وسلم، وبأبي عبيد القاسم بن سلام فسر غريب الحديث ولولا ذاك لاقتحم الناس الخطأ.
وقال أبي بكر ابن الأنباري: كان أبو عبيد يقسم الليل أثلاثا فيصلي ثلثه وينام ثلثه ويضع الكتب ثلثه. وقال إسحاق بن راهويه: أبو عبيد أوسعنا علما وأكثرنا أدبا وأجمعنا جمعا، إنا نحتاج إلى أبي عبيد وأبو عبيد لا يحتاج إلينا. وقال ثعلب: لو كان أبو عبيد في بني إسرائيل لكان عجبا.
وكان يخضب بالحناء، أحمر الرأس واللحية، وكان له وقار وهيبة. وقدم بغداد فسمع الناس منه كتبه. ثم حج وتوفي بمكة، وقيل بالمدينة بعد الفراغ