كَانَ أَبوهُ روميا مَمْلُوكا لرجل لرجل من أهل هراة وَكَانَ من موالى الازد، ولد أَبُو عبيد بهراة فِي سنة إربع وَخمسين وَمِائَة على قَوَّال أَبى بكر الزبيدِيّ فِي كتاب التقريظ، وفى سنة سبع وَخمسين وَمِائَة على قَول الزركلي.
طلب أَبُو عبيد الْعلم وَسمع الحَدِيث وَنظر فِي الْفِقْه والادب، واشتغل بِالْحَدِيثِ وَالْفِقْه والادب والقراءات وأصناف عُلُوم الاسلام، وَكَانَ دينا ورعا حسن الرِّوَايَة صَحِيح النَّقْل وَلم يطعن أحد فِي شئ من دينه.
أَخذ أَبُو عبيد الادب عَن أكَابِر أدباء عصره أَمْثَال أَبى زيد الانصاري وأبى عُبَيْدَة معمر بن الْمثنى والاصمعى وأبى مُحَمَّد اليزيدي وَغَيرهم من الْبَصرِيين، وروى عَن ابْن الاعرابي وأبى زِيَاد الْكلابِي وَيحيى بن سعيد الاموى وأبى عَمْرو الشَّيْبَانِيّ وَالْفراء وَالْكسَائِيّ ولاحمر من الْكُوفِيّين.
وروى النَّاس من كتبه المصنفة بضعَة وَعشْرين كتابا فِي الْقرَان وَالْفِقْه واللغة والْحَدِيث، ويحكى أَن سَلاما خرج يَوْمًا وَأَبُو عبيد مَعَ ابْن مَوْلَاهُ فِي الْكتاب، فَقَالَ للمعلم: علم الْقَاسِم فانه كيس (انْظُر تَارِيخ بَغْدَاد ١٢ / ٤٠٣) .
وَقَالَ السبكى فِي الطَّبَقَات ١ / ٢٧٠: قَرَأَ الْقرَان على الْكسَائي وَإِسْمَاعِيل بن جَعْفَر وشجاع