٤ - كتاب الجامع في اللغة. قال عنه القفطي: أكبر كتاب صنف في هذا النوع وقال ياقوت الحموي: هو كتاب كبير حسن متقن يقارب كتاب التهذيب لأبي منصور الأزهري، رتبه على حروف المعجم، وقال حاجي خليفة في كشف الظنون: وهو كتاب معتبر، لكنه قليل الوجود، وهو كتاب عديم النظير، من مصادر لسان العرب لابن منظور، والقاموس للفيروزآبادي وبهذا يتبين أنه في اللغة لا علاقة له بالنحو وغير كتاب الحروف في النحو كما زعم بعض المعاصرين.
٥ - شرح رسالة البلاغة في عدة مجلدات.
٦ - كتاب الحروف، ذكر فيه معنى كل حرف ومثلا له واستعماله ووظيفته في الجملة، وفي مرآة الجنان لليافعي:«وكان العزيز بن المعز العبيدي صاحب مصر تقدم إليه أن يؤلف كتابا يجمع فيه سائر الحروف التي ذكر النحويون أن الكلام كله اسم وفعل وحرف جاء لمعنى. قال ابن الجزار وما علمت أن نحويا ألّف شيئا من النحو على حروف المعجم سواه.
إلى أن قال: وبلغ جملة الكتاب الذي ألّفه للعبيدي ألف ورقة جمع فيه المفرق في الكتب النفيسة على أقصر سبيل وأقرب ما يؤخذ وأوضح طريق، وكأنه قد اقترح عليه أن يؤلفه على حروف المعجم على وجه لم يسبق إليه كما تقدم».
٧ - كتاب التعريض والتصريح أو التعريض فيما يدور بين الناس من المعاريض، مجلد واحد.
٨ - كتاب الضاد والظاء، مجلد واحد.
٩ - كتاب ما يجوز استعماله لضرورة، كذا أسماه ياقوت، ويعرف أيضا بضرائر الشعر، حققه د. المنجي الكعبي (الدار التونسية للنشر).
١٠ - كتاب المعشرات. معجم في اللغة لتعدد معاني الكلمات، كل كلمة