وأخذت موجة من التصوف ترافق هذا الزهد منذ أيام عبد الرحمن الناصر، وكان أول من بعثها ودفعها دفعا قويا فى الأندلس محمد بن عبد الله بن مسرة المتوفى سنة ٣١٩ للهجرة، وكان قد حج وطوّف ببلدان المغرب ومصر والشام والحجاز ولا بد أن سمع بمحنة الحلاج وصلبه سنة ٣٠٩ ببغداد وعاد إلى موطنه، واعتزل مع تلاميذه فى منزله بجبل قرطبة، وأخذ يلقنهم تعاليمه، وكانت مزيجا من آراء الصوفية والمعتزلة ومر بنا استنكار عبد الرحمن الناصر لعقيدته، وذكر ابن حيان فى الجزء الخاص بالناصر إرساله سنة ٣٤٠ إلى البلدان المختلفة فى الأندلس منشورا يندّد فيه بعقيدة ابن مسرة ويتوعد أتباعه، مما يدل على أنها كانت قد أخذت تشيع وتتألف حولها فرقة. وتمادى الطلب لأفرادها بقيّة عهد الناصر وفى عهد ابنه الحكم المستنصر، مما جعلهم يضطرون للاختفاء حتى إذا أظلهم عهد هشام المؤيد عادوا إلى الظهور والنشاط فى الدعوة لعقيدتهم مما اضطر القاضى محمد ابن يبقى بن زرب المتوفى سنة ٣٨١ للهجرة إلى الكشف عنهم واستتابتهم، وتابت على يديه منهم جماعة. غير أن هذه العقيدة الصوفية استمرت، ويذكر ابن حزم فى كتابه «الفصل» من معتنقيها فى النصف الأول من القرن الخامس الهجرى إسماعيل بن عبد الله الرّعينى، ويقول إنه أدخل على عقيدة ابن مسرة بعض التعديل، من ذلك أنه ذهب إلى أن العالم لا يفنى وأنه مستمر إلى ما لا نهاية. ولم تضمحل هذه العقيدة الصوفية فى الأندلس لعهد أمراء الطوائف بل ظل لها أتباع فى قرطبة وإشبيلية والمرية وغيرها من المدن الأندلسية،
وأخذ التصوف ينشط فى عهد دولة المرابطين، ومن أهم المتصوفة لعهدها أبو العباس ابن العريف المتوفى بمراكش سنة ٥٣٦ وهو من أهل المرية وله فى التصوف كتاب محاسن المجالس نشره آسين بلاسيوس مع ترجمة فرنسية، وكانت تقوم طريقته على الزهد فى منازل الصوفية والعطايا والمواهب الإلهية والكرامات وما يتصل بها من المنن التى يمنّ الله بها على النفس الإنسانية. ويقول إن طريقته هى طريقة الخواص التى تقف عند الفناء فى محبة الذات الإلهية، وكأنه لا يقول بوحدة الوجود إنما يقول بالفناء فى المحبة الإلهية، وهو بذلك يعد من أصحاب التصوف السنى، وكأنه يبتعد عن مراتب التصوف الفلسفى القائل بوحدة الوجود خطوة أو خطوات. ومن معاصريه فى الأندلس ابن برّجان الإشبيلى عبد السلام بن عبد الرحمن المتوفى سنة ٥٣٦، وأيضا ابن قسّى أبو القاسم أحمد بن الحسين المتوفى سنة ٥٤٦ والذى قاد ثورة بغرب الأندلس ضد المرابطين حين ساءت