ولد أبو عبيد في هراة وأبوه مملوك رومي، وتخرج في بغداد على أئمة وقته وروى عنه أئمة مذكورون، وكان آية في النحو واللغة والحديث والفقه، وعدَّ أعلم رجال عصره بلغات العرب، قال إبراهيم الحربي:
رأيت ثلاثة تعجز النساء أن تلد مثلهم: رأيت أبا عبيد ما أمثله إلا بجبل نفخ فيه روح، ورأيت بشر بن الحرث فما شبهته إلا برجل عجن من قرنه إلى قدمه عقلاً، ورأيت أحمد بن حنبل فرأيت كأن الله قد جمع له علوم الأولين من كل صنف، يقول ما يشاء ويمسك ما يشاء. وروى الناس من الكتب المصنفة لأبي عبيد بضعة وعشرين كتاباً في القرآن والفقه وغريب الحديث والغريب المصنف والأمثال ومعاني الشعر وكتاب الأموال، والغريب المصنف زعموا أنه أجل كتبه
كان أبو عبيد خاصاً بعبد الله بن طاهر الوزير المشهور أغناه بما أعطاه، ولقد بعث أبو دُلف إلى عبد الله بن طاهر يستهديه أبا عبيد شهرين، فأنفذه إليه فأقام شهرين، فلما أراد الانصراف وصله بثلاثين ألف درهم فلم يقبلها. وقال: أنا في جنبة رجل لم يحوجني إلى صلة غيره، فلما عاد إلى ابن طاهر وصله بثلاثين ألف دينار. فقال: أيها الأمير قد قبلتها، ولكن قد أغنيتني بمعروفك وبرك، وقد رأيت أن أشتري بها سلاحاً وخيلاً وأُوجه بها إلى الثغر ليكون الثواب متوفراً على الأمير ففعل، وهذا من العلم الحقيقي والخلق الكامل، وعزة النفس إذا فقدت من العلماء خاصة صار العلم تهريجاً ومهزلة
قالوا: ولما عمل أبو عبيد كتاب الغريب عرضه على عبد الله ابن طاهر فاستحسنه وقال: إن عقلاً بعث صاحبه على عمل مثل هذا الكتاب لحقيق ألا يخرج عنا إلى طلب المعاش. فأجرى له عشرة آلاف درهم في كل شهر، قال أبو عبيد: كنت في تصنيف هذا الكتاب