١١٣٨ م) ليلة رحيلهما عن بغداد أو قبل ذلك بأيام قلائل.
وذهب شيركوه وأيوب إلى زنكى الذي لم ينس يدهما في انقاذه، فرحب بهما كل الترحيب، وأقاما عنده في الموصل زمنا ما واشتركا معه في حروبه فأعاناه مثلًا على فتح بعلبك، وعهد زنكى بحكمها إلى أيوب في أوائل سنة ٥٣٤ هـ (حوالي نهاية سنة ١١٣٩ م).
وبعد وفاة زنكى حاولت جيوش بني بورى أن تستعيد بعلبك. ولما وجد أيوب نفسه غير قادر على الاحتفاظ بالمدينة انضم إليه باختياره سنة ٥٤١ هـ (١١٤٦ - ١١٤٧ م) وأصبح عنده قائدا ممتازا بل أصبح كبير القواد. وبقى شيركوه في الوقت نفسه في خدمة نور الدين محمود بن زنكى الذي ورث عن أبيه حكم حلب. وتاق نور الدين إلى الاستيلاء على دمشق فعهد إلى شيركوه أن ينتزعها من يد أخيه أيوب. واتفق الأخوان فيما بينهما ودخل شيركوه المدينة من غير قتال سنة ٥٤٩ هـ (١١٥٤ م)، وبالغ نور الدين في إكرام أيوب وعينه حاكما لدمشق، وتولى شيركوه حكم حمص وأصبحت ملكا يتوارثه أحفاده.
ولما اعتزم نور الدين بعد ذلك أن يتدخل في شئون مصر السياسية أوفد إليها شيركوه نائبا له وأمر صلاح الدين بالتوجه معه. وبعد أن كافح شيركوه كفاحا سياسيا وأبلى في قتال جيوش مصر وملك بيت المقدس البلاء الحسن رجحت كفته وأصبح سيد الموقف فأسند إليه العاضد آخر خلفاء الفاطميين منصب الوزارة.
وتوفى شيركوه فجأة فأسندت الوزارة من بعده إلى صلاح الدين. ولم يكد صلاح الدين يستقر في منصبه حتى توفي الخليفة الفاطمى، فنادى صلاح الدين بخلع الخليفة المحتضر بناء على أمر نور الدين، وأمر بأن يدعى في الخطبة للخليفة العباسى، وكان قبل ذلك قد استقدم أباه وأسرته إلى مصر. وظل أيوب صديقا ناصحا لصلاح الدين إلى أن توفي سنة ٥٦٨ هـ (١١٧٣ م) على أثر سقوطه عن ظهر جواده.