وعشرين سنة ثم خرج منها قاصداً إلى المغرب في سنة ثمان وعشرين وثلاثمائة، ووصل إلى الأندلس في سنة ثلاثين وثلاثمائة في أيام عبد الرحمن الناصر وكان ابنه الأمير أبو العاصي الحكم بن عبد الرحمن من أحب ملوك الأندلس للعلم، وأكثرهم اشتغالاً به، وحرصاً عليه، فتلقاه بالجميل وحظي عنده، وقربه وبالغ في إكرامه، ويقال إنه قد كتب إليه ورغبة في الوفود عليه، واستوطن قرطبة ونشر علمه بها، وكان إماماً فيي علم اللغة متقدماً لها فاستفاد الناس منه وعولوا عليه، واتخذوه حجة فيما نقله، وكانت كتبه على غاية التقييد والضبط والإتقان، وقد ألف في علمه الذي اختص به تواليف مشهورة تدل على سعة روايته وكثرة إشرافه، وأملى كتاباً سماه "النوادر" يشتمل على أخبار وأشعار ولغة، سمع منه جماعة وحدثوا عنه، منهم أبو عبد الله بن الربيع ابن عبد الله التميمي، ولعله آخر من حدث عنه أحمد بن أبان بن سيد ومن روى عنه أبو بكر محمد بن الحسن الزبيدي النحوي صاحب مختصر كتاب العين وأخبار النحويين والواضح في النحو، وكان حينئذ إماماً في الأدب، ولكن عرف فضل أبي على فمال إليه، واختص به واستفاد منه وأقر له وقال: سألت أبا علي عن نسبه فقال: أخبرنا إسماعيل بن القاسم بن عبدون بن هارون بن عيسى بن محمد بن سليمان مولى محمد بن عبد الملك بن مروان، قال: وكان أحفظ زمانه للغة وأرواهم للشعر وأعلمهم بعلل النحو على مذهب البصريين، وأكثرهم تدقيقاً في ذلك، قال: وسألته لم قيل له القالي؟ فقال: لما انحدرنا إلى بغداد كنا في رفقة كان فيها [أهل] قالي قلا وهي قرية من قرى نارجرد وكانوا يكرمون لمكانهم من الثغر، فلما دخلنا بغداد نسبت إليهم لكوني معهم وثبت ذلك علي، قال أبو محمد علي بن أحمد: وقد ذكر كتاب أبى علي المسمى بالنوادر في الأخبار والأشعار