حرسه الخاص من مواليه، كما أحاط نفسه بموالي الأمويين في قرطبة.
نهاية عصر الولاية وقيام الإمارة الأموية في الأندلس:
قامت الدولة الأموية في الأندلس على أثر انتصار عبد الرحمن بن معاوية في معركة المصارة ودخوله قرطبة في يوم الجمعة العاشر من ذي الحجة سنة ١٣٨ هـ/١٤ أيار ٧٥٦ م. وعلى الرغم من هذا الانتصار، لم يتمكن الأمير الأموي أن يسيطر أول الأمر على الأندلس كلها. فلقد كان ليوسف والصميل الكثير من المؤيدين، مما شجعهما على محاولة استعادة سلطانهما السابق. وقد جاءت إلى يوسف عندما كان في طريقه إلى طليطلة نجدة من الشمال الشرقي، بقيادة ابنه عبد الرحمن، تقدر بخمسمئة فارس. وفي طليطلة نال يوسف تأييد حاكمها الفهري، هشام بن عروة، الذي قدم له تعزيزات كثيرة. وقد قاد يوسف هذه القوات إلى جيان حيث كان الصميل يستنفر أتباعه هناك. فالتقيا، واستوليا على جيان، وطردا منها العامل الذي عينه عليها الأمير عبد الرحمن بن معاوية. ثم سارا إلى البيرة، وأجبرا عاملها أيضاً على الفرار إلى المناطق الجبلية المجاورة.
وبوصول هذه الأنباء إلى عبد الرحمن، وجد أنه لا مفر له من السير إليهما قبل أن يستفحل خطرهما على الوضع الجديد. وقد استخلف أبا عثمان على قرطبة، وترك معه بعض الموالي وسكان أهل المدينة من اليمنيين. ولكن ما إن علم يوسف بغياب عبد الرحمن عن قرطبة، حتى أوعز إلى ابنه أبي زيد، الذي كان في ماردة، بمفاجأة قرطبة واحتلالها. ونجح هذا الأخير في مهمته، لكنه لم يتمكن من البقاء فيها، وغادرها فور سماعه برجوع الأمير عبد الرحمن إليها، مكتفياً بأخذ أبي عثمان أسيراً معه. وقد أعاد عبد الرحمن تنظيم المدينة، وعهد بحراستها إلى رجل موثوق، هو عامر بن علي، جد بني فهر الرصافيين. ثم مضى لاستكمال حملته نحو البيرة، وعندما وصل هناك، وجد أن يوسف والصميل مستعدان للمفاوضات. ويبدو أنهما أحسا بعدم قدرتهما على الاستمرار في المقاومة، ففضلا الصلح مع عبد الرحمن. وتم التوصل إلى عقد اتفاق بين الطرفين في سنة ١٤٠ هـ/٧٥٧ م، اعترف بموجبه كل من يوسف والصميل بعبد الرحمن بن معاوية أميراً على الأندلس، مقابل احتفاظهما بكل أموالهما وأملاكهما، وإعلان العفو العام عن جميع أنصارهما. وقد رضي عبد الرحمن بهذه الشروط، ووافق يوسف على أن يستودعه ابنيه، أبا زيد عبد الرحمن، وأبا الأسود محمداً، ليبقيا رهينتين حتى تهدأ الأمور، ويسود السلام. كما تبادلا الأسرى، فأطلق عبد الرحمن سراح خالد بن زيد، الرسول الذي سجن على أثر فشل المفاوضات في طُرش، مقابل إطلاق