وكانت بين الأصيلي وابن زرب القاضي، وأصحابه مشاحنة، أثارتها النفاسة، وعلو كعب الأصيلي في العلم، وأزراؤه عليهم، فأراد ابن أبي عامر صلاح حالهم بتفريقهم، فقلد الأصيلي قضاء سرقسطة، فدارت بين الأصيلي وواليها بين يدي ابن أبي عامر منافسة، ومحارجة لأشياء أنكرها عليه الأصيلي. وكان في خلق الأصيلي حرج وزعارة، فاستعفى من القضاء فعوفي، وقيل بل حلف الوالي أن لا يلي معه. فصرفه ابن أبي عامر عن القضاء، صرفاً جميلاً. وأراد حاجته الى قربه بالحضرة. فأقام رأساً في أهل الشورى بقرطبة، سيما بعد وفاة ابن زرب. فإنه استكملت رئاسته، حتى كان بالأندلس نظير ابن أبي زيد بالقيروان وعلى هديه، إلا أنه كان فيه ضجر شديد، يخرجه أوقات القيظ الى غير صفته. ذكر بعضهم أنه هنأه بالشورى حين تقلدها، فقال: لعن الله الشورى إن لم أرفعها، ولعنني إن رفعتني، ونحو هذا. وأبلغ عن القاضي ابن زرب رحمه الله يوماً كلاماً، عرض به فساءه، وحرك منه وانبعث من ضجره، ما شق جيبه غيظاً وتمثل: