كان أبوه عبدا روميا لرجل من أهل هراة ويحكى أن سلاما خرج يوما، وأبو عبيد مع ابن مولاه في الكتاب، فقال للمعلم: علمي القاسم، فإنها كيسة طلب أبو عبيد العلم وسمع الحديث ودرس الأدب ونظر في الفقه وسمع إسماعيل بن جعفر وشريكا، وإسماعيل بن عياش وهشيم بن بشير، وسفيان بن عيينة، وإسماعيل ابن علية ويزيد بن هارون، ويحيى بن سعيد القطان وحجاج بن محمد، وأبا معاوية الضرير وصفوان بن عيسى، وعبد الرحمن بن مهدي وحماد بن مسعدة، ومروان بن معاوية، وأبا بكر بن عياش وعمر بن يونس، وإسحاق الأزرق، وغيرهم.
رَوَى عنه: نصر بن داود بن طوق، ومُحَمد بن إسحاق الصاغاني، والحسن بن مكرم، وأحمد بن يوسف التغلبي، وأبو بكر بن أبي الدنيا والحارث بن أبي أسامة، ومُحَمد بن يحيى المروزي، وعلي بن عبد العزيز البغوي في آخرين.
وكان قد أقام ببغداد مدة، ثم ولي القضاء بطرسوس وخرج بعد ذلك إلى مكة فسكنها حتى مات بها.