على حرس معاوية بن أبي سفيان، وله عنده مكانة، ولكنه امتنع من أن يدخل معه في حرب علي بن أبي طالب - كرم الله وجهه -.
عهد الوليد بن عبد الملك إلى موسى بن نصير بولاية بلاد المغرب سنة ٨٨ أو ٨٩، فنزل القيروان، وخرج غازياً يقص أثر البربر لا يدافعه أحد حتى بلغ "طنجة"، ودان له سائر البربر بالطاعة، فاستعمل على طنجة وأعمالها طارق بن زياد، وقفل راجعاً إلى القيروان.
ولما استتب له الأمر بالمغرب، استأذن الخليفة في غزو الأندلس، فأذن له، وبعث إلى طارق، فامره بغزوها، فعبر طارق البحر، ونزل بالجبل الذي سمي من بعد:"جبل طارق"، وانساب إلى أرض الأندلس بجيش مؤلف من اثني عشر ألف مقاتل، ففتح جانباً عظيماً من البلاد، وأبلغ موسى ما لاقاه، فلم يرتح موسى لإفراد طارق بفضل هذا الفتح الباهر، فحفزته الغيرة إلى أن تكون القيادة العملية بيده، فكتب إلى طارق يأمره بأن لا يتجاوز المكان الذي يصل إليه الكتاب فيه؛ حتى يلحق به، ولكن طارقاً استشار قواد الجيش، فأشاروا بمواصلة الغزو خشية أن يجد جماعات المنهزمين من الأعداء فرصة التجمع والاتحاد ثم الكر على المسلمين، فأخذ طارق برأيهم، ومضى في سبيله، ثم قدم موسى في جيش ضخم سنة ٩٣، واشتد في توبيخ طارق إذ خالف ما أمره به من وقف الجهاد، بل قال بعض المؤرخين: إنه عزله عن قيادة الجيش، واعتقله مع وضوح عذره، ثم اصطلح القائدان، وأقبلا على الجهاد، وأمعنا في الفتح، وكان النصر حليفهما في كل واقعة، فلم يعارضهما أحد إلا بطلب صلح.
ولما نجح موسى في غزو الأندلس، طمحت همته إلى مواصلة الغزو