وكانت بين الأصيلي وابن زرب القاضي وأصحابه مشاحنة، أثارتها النفاسة، وعلو كعب الأصيلي في العلم، وإزراؤه عليهم؛ فأراد ابن أبي عامر صلاح حالهم بتفريقهم، فقلد الأصيلي قضاء سرقسطة، فدارت بين الأصيلي وواليها بيد [١]: مولى ابن أبي عامر منافسة ومحاربة - لأشياء أنكرها عليه الأصيلي، وكان في خلق الأصيلي حرج وزعارة، فاستعفى من القضاء فعوفي؛ وقيل: بل حلف الوالي أن لا يلي معه، فصرفه ابن أبي عامر عن القضاء صرفًا جميلا، أراه حاجته إلى قربه بالحضرة؛ فأقام رأسًا في أهل الشورى بقرطبة، سيما بعد وفاة ابن زرب، فإنه استكملت رئاسته، حتى كان بالأندلس نظير ابن أبي زيد بالقيروان، وعلى هديه؛ إلا أنه كان فيه ضجر شديد يخرجه أوقات الغيظ إلى غير صفته.
ذكر أن بعضهم هنأه بالشورى حين تقلدها، فقال لعن الله الشورى إن لم أرفعها، ولعنني إن رفعتني، أو نحو هذا؛ وأبلغ عن القاضي ابن زرب يومًا كلامًا عرض به، فساءه وحرك منه، وانبعث من ضجره ما شق جيبه غيظًا، وتمثل: