بعد هذه المدة الطويلة في القضاء عاد أبو عبيد من طرسوس إلى بغداد، وهناك اتصل بـ عبد الله بن طاهر والي خراسان وكان ابن طاهر يُجري عليه في الشهر ألفي درهم.
قال أبو العباس أحمد بن يحيى: قدِم طاهر بن عبد الله بن طاهر من خراسان وهو حدثٌ في حياة أبيه يريد الحج، فنزل في دار إسحاق بن إبراهيم، فوجَّه إسحاق إلى العلماء، فأحضرهم ليراهم طاهر، فقال طاهر: اجمع العلماء وأتِ بهم إلي لأراهم، وليَعْلَم ما عندهم من العلم، فحضر أصحاب الحديث والفقه، وأُحْضِر ابن الأعرابي، وأبو نصر صاحب الأصمعي، ووجِّه إلى أبي عبيد القاسم بن سلاَّم في الحضور، فأبى أن يحضر، وقال: العلم يُقْصَد -العلم يؤتى ولا يأتي، إذا أراد أن يتعلم أو يسمع فيأتي هو، أما أن نأتي إليه فلا- ورفض الاتيان، وكان عبد الله بن طاهر يُجري له في الشهر ألفي درهم، وكان من عادة العلماء في ذلك الوقت أنهم يُفرَّغون للعلم ويُجرى عليهم من بيت المال مرتب يكفيهم في حياتهم لمعيشتهم , ويتفرغون للعلم، فكان يُجرَى لـ أبي عبيد -رحمه الله- في الشهر ألفي درهم، وهو مبلغ كبير.
فلما قال:(العلم يُقْصَد) ورفض أن يأتي، قطع إسحاق عنه الرزق -أي: المرتب- وكتب إلى عبد الله بن طاهر بالخبر أن أبا عبيد امتنع، لكن هذا الامتناع أثر في نفس عبد الله بن طاهر، فكتب رسالة يقول فيها: صَدَقَ أبو عبيد في قوله، وقد ضاعفتُ له الرزق من أجل فعله هذا، فأعطه فائته، أي: كلما خصمت عليه ومنعته فأعطه وأدر عليه بعد ذلك ما يستحقه، وكان لهذه المعاملة أثر في العلاقة الطيبة بين أبي عبيد -رحمه الله- وبين الأمير عبد الله بن طاهر، فكان أبو عبيد إذا ألف كتاباً أهداه إلى عبد الله بن طاهر، وكان الآخر يقدر ذلك ويكافئه عليه.
ويروى أن أبا عبيد -رحمه الله- لما ألف كتاب غريب الحديث وعرضه على عبد الله بن طاهر، وكان الأمراء في ذلك الوقت -بطبيعة الحال- لهم اهتمام بالعلم والأدب، فيعرفون أهمية الكتب، فلما نظر فيه قال:"إن عقلاً بعث صاحبَه على عمل مثلِ هذا الكتاب لحقيقٌ ألا يُحْوَجَ إلى طلب المعاش" فأجرى له عشرة آلاف درهم كل شهر، فعاش أبو عبيد مكرماً، وهيأ الله له من يكفيه هموم المعاش، ويتفرغ لطلب العلم، ولم يكن صاحب تزلف ولا وقوف على الأبواب، ولذلك عمل -كما قلنا في بداية أمره- في تأديب أولاد الكبار، وعمل قاضياً مدة طويلة، ثم بعد ذلك صار متفرغاً للتعليم وللتأليف، وكان يُجرى عليه رزقه.