قال ابن سعد كان أبو عبيد مؤدبا صاحب نحو وعربية، وطلب للحديث والفقه، ولي قضاء طرسوس أيام الأمير ثابت بن نصر الخزاعي ولم يزل معه ومع ولده، وقدم بغداد، ففسر بها غريب الحديث، وصنف كتبا، وحدث، وحج، فتوفي بمكة سنة أربع وعشرين.
وقال أبو سعيد بن يونس في " تاريخه ": قدم أبو عبيد مصر مع يحيى بن معين سنة ثلاث عشرة ومائتين، وكتب بها.
وقال علي بن عبد العزيز: ولد بهراة، وكان أبوه عبدا لبعض أهلها. وكان يتولى الأزد.
قال عبد الله بن جعفر بن درستويه النحوي: ومن علماء بغداد المحدثين النحويين على مذهب الكوفيين، ورواة اللغة والغريب عن البصريين، والعلماء بالقراءات، ومن جمع صنوفا من العلم، وصنف الكتب في كل فن أبو عبيد. وكان مؤدبا لأهل هرثمة وصار في ناحية عبد الله بن طاهر، وكان ذا فضل ودين وستر، ومذهب حسن، روى عن أبي زيد، وأبي عبيدة، والأصمعي، واليزيدي، وغيرهم من البصريين، وروى عن ابن الأعرابي، وأبي زياد الكلابي، والأموي، وأبي عمرو الشيباني، والأحمر.
نقل الخطيب في " تاريخه " وغيره: أن طاهر بن الحسين حين سار إلى خراسان، نزل بمرو، فطلب رجلا يحدثه ليلة، فقيل: ما هاهنا إلا رجل مؤدب، فأدخلوا عليه أبا عبيد، فوجده أعلم الناس بأيام الناس والنحو واللغة والفقه. فقال له: من المظالم تركك أنت بهذه البلدة، فأعطاه ألف دينار، وقال له: أنا متوجه إلى حرب، وليس أحب استصحابك شفقا عليك، فأنفق هذه إلى أن أعود إليك، فألف أبو عبيد " غريب المصنف " وعاد طاهر بن الحسين من ثغر خراسان، فحمل معه أبا عبيد إلى سر من رأى، وكان أبو عبيد ثقة دينا ورعا كبير الشأن.