بغداد واستوطنها، وعلت منزلته في النحو حتى قال قوم من تلامذته: هو فوق المبرد وأعلم منه، وصنف كتبا عجيبة حسنة لم يسبق إلى مثلها، واشتهر ذكره في الآفاق، وبرع له غلمان حذّاق مثل عثمان بن جني وعلي بن عيسى الربعي، وخدم الملوك ونفق عليهم، وتقدّم عند عضد الدولة، فكان عضد الدولة يقول: أنا غلام أبي علي النحوي في النحو وغلام أبي الحسين الرازي الصوفي في النجوم. وكان متهما بالاعتزال.
وذكر أبو الحسن طاهر بن أحمد بن بابشاذ النحوي في «كتاب شرح الجمل» للزجاجي في باب التصريف منه يحكي عن أبي علي الفارسي أنه حضر يوما مجلس أبي بكر الخياط، فأقبل أصحابه على أبي بكر يكثرون عليه المسائل، وهو يجيبهم ويقيم عليها الدلائل، فلما أنفدوا أقبل على أكبرهم سنا وأكبرهم عقلا وأوسعهم علما عند نفسه فقال له: كيف تبني من سفرجل مثل عنكبوت، فأجابه مسرعا سفرروت، فحين سمعها قام من مجلسه وصفق بيديه وخرج وهو يقول سفرروت، فأقبل أبو بكر على أصحابه وقال: لا بارك الله فيكم ولا أحسن جزاءكم، خجلا مما جرى واستحياء من أبي علي.
ومما يشهد بصفاء ذهنه وخلوص فهمه أنه سئل قبل أن ينظر في العروض عن خرم متفاعلن، فتفكر وانتزع الجواب فيه من النحو، فقال: لا يجوز لأن متفاعلن ينقل إلى مستفعلن إذا خبن، فلو خرم لتعرض للابتداء بالساكن لا يجوز له (الخرم حذف الحرف الأول من البيت والخبن تسكين ثانيه) .
ولما خرج «١» عضد الدولة لقتال ابن عمه عز الدولة بختيار بن معز الدولة دخل عليه أبو علي الفارسي فقال له: ما رأيك في صحبتنا؟ فقال له: أنا من رجال الدعاء لا من رجال اللقاء، فخار الله للملك في عزيمته، وأنجح قصده في نهضته، وجعل العافية زاده والظفر تجاهه والملائكة أنصاره، ثم أنشده:
ودّعته حيث لا تودّعه ... نفسي ولكنّها تسير معه
ثم تولّى وفي الفؤاد له ... ضيق محلّ وفي الدموع سعه
فقال له عضد الدولة: بارك الله فيك، فإني واثق بطاعتك وأتيقّن صفاء