وأخذ عن أبي علي الفارسي؛ وصحبه أربعين سنة وكان سبب صحبته إياه أن أبا علي الفارسي كان قد سافر إلى الموصل، فدخل إلى الجامع، فوجد أبا الفتح عثمان بن جني يقرأ النحو وهو شاب، وكان بين يديه متعلم وهو يكلمه في قلب الواو ألفاً، نحو "قام" و"قال"، فاعترض عليه أبو علي، فوجه مقصراً، فقال له أبو علي: زببت قبل أن تحصرم، ثم قام أبو علي ولم يعرفه ابن جني، فسأل عنه، فقيل له: هذا أبو علي الفارسي النحوي، فأخذ في طلبه، فوجده ينزل إلى السميرية، يقصد بغداد، فنزل معه في الحال، ولزمه وصاحبه من حينئذ إلى أن مات أبو علي وخلفه ابن جني، ودرس النحو ببغداد بعده، وأخذ عنه، وكان تبحر ابن جني في علم التصريف؛ لأن السبب في صحبته أبا علي وتغربه عن وطنه، ومفارقة أهله مسألة تصريفية، فحمله ذلك على التبحر والتدقيق فيه.
وأخذ عنه أبو القاسم الثمانيني وأبو أحمد عبد السلام