وأخذ أبو عمر الجرمي اللغة عن أبي زيد وأبي عبيدة والأصمعي وطبقتهم؛ وكان صاحب دين وإخاء وورع، وصنف كتبا كثيرة؛ منها مختصره المشهور في النحو؛ ويقال: إنه كان لكما صنف منه باباً صلى ركعتين بالمقام، ودعا بأن ينتفع به، ويبارك فيه.
وقال أبو علي الفارسي: قل من اشتغل بمختصر الجرمي إلاّ صارت له بالنحو صناعة.
ويروى أنه اجتمع أبو عمر الجرمي والأصمعي، فقال الجرمي للأصمعي: كيف تصغر "مختار"؟ فقال:"مخير"، فقال الجرمي: أخطأت، إنما هو "مخيتير".
ويروى أنه قال له الأصمعي: كيف تنشد هذا البيت:
قد كن بخبأن الوجوه تستراً ... فالآن حين بدون للنظار
أو "بدأن"؟ فقال:"بدأن" فقال له الأصمعي: أخطأت؛ إنما هو "بدون"، أي ظهرن.
وقال أبو العباس أحمد بن يحيى ثعلب: قال لي ابن قادم: قدم أبو عمر