الكلام مما أسرف فيه، وغلا بفرط حرجه، فانتدب له البرادعي وتولاه ووجد للمقال سبيلًا، وأنكر عليه كل من حضر، ولكن تولى ذلك البرادعي، بفرط حرج منه هو أيضًا، فخرج الأصيلي، فكان ذلك سبب مقاطعته مجلس ابن أبِي زيد.
فيقال إن ابن أبِي زيد قال للبرادعي: لقد حرمتنا فوائد الشيخ بإسرافك في الرد عليه.
وكانت بين الأصيلي وبين ابن زرب القاضي وأصحابه مشاحنة، أثارتها النفاسة، وعلو كعب الأصيلي في العلم، وإزراؤه عليهم، فأراد ابن أبِي عامر صلاح حالهم بتفريقهم، فقلد الأصيلي قضاء سرقسطة، فدارت بين الأصيلي وواليها بين يدي ابن أبِي عامر منافسة، ومحارجة لأشياء أنكرها عليه الأصيلي، فاستعفى من القضاء فعوفي، وقيل بل حلف الوالي أن لا يلي معه.
فصرفه ابن أبِي عامر عن القضاء صرفًا جميلًا، فأقام رأسًا في أهل الشورى بقرطبة، ولاسيما بعد وفاة ابن زرب، فإنه استكملت رئاسته، حتى كان بالأندلس نظير ابن أبِي زيد بالقيروان وعلى هديه، إلا أنه كان فيه ضجر شديد، يخرجه أوقات القيظ إلى غير صفته، ذكر بعضهم أنه هنأه بالشورى حين تقلدها، فقال: لعن الله الشورى إنْ لم أرفعها، ولعنني إنْ رفعتني، ونحو هذا!
وكان مقبلًا على إفادة تلاميذه والاستفادة منهم.
جاء في الصلة لابن بشكوال في ترجمة أبِي عبد الله محمد بن أصبغ البلوي: أنه رحل إلى المشرق مع أبِي عبد الله بن عابد، وهما تلميذان للأصيلي، فسمعا هناك من أبِي بكر بن إسماعيل وغيره.