بالنصر كان حزنه على أبيه إذ علم أنه توفى فى العام السابق لتلك المعركة. وصمم على المكث فى مسقط رأسه لحمايته غير أن عمّه لم يتركه طويلا، فقد أمره هو وإخوته بالرحيل عن القلعة، فتفرقوا فى البلاد. ومضى أسامة إلى دمشق ولقيه حاكمها معين الدين أنر مدير دولة أولاد طغتكين لقاء حسنا، وظل الجو بينهما صافيا حتى سنة ٥٣٩ إذا كفهّر الجو ولم يجد أسامة بدّا من مفارقة دمشق. فرحل إلى القاهرة ومعه أمه وزوجه وأبناؤه وأخوه محمد، وكان الخليفة الفاطمى حينئذ الحافظ (٥٣٤ - ٥٤٤ هـ) فأكرمه وأمر له بإقطاع سنىّ عاش به حياة رغدة.
وخلف الحافظ ابنه الظافر (٥٤٤ - ٥٤٩ هـ» واتصل إكرامه وإكرام وزيره العادل بن سلاّر لأسامة، ويقول المؤرخون إنه لم يف للعادل، فقد أوغر صدر عباس الصنهاجى ابن زوجته عليه فقتله وخلفه على الوزارة. ولم يلبث أن أوغر صدر عباس وابنه نصر على الخليفة الجديد الظافر فقتلاه. وتطورت الأمور فتولّى الفائز بن الظافر الخلافة وهو صبى يحبو فى الخامسة من عمره، وكاتب أهل القصر طلائع بن رزّيك الوالى بالصعيد، فقدم فى جيش إلى القاهرة، وهرب عباس وابنه نصر وأسامة، وولوا وجوههم إلى الشام. وأسرعت أخت الظافر، فكتبت إلى حملة الصليب بعسقلان-وكانوا قد استولوا عليها حديثا-تعدهم بأموال طائلة إن هم ردوا إلى القاهرة الوزير وابنه نصرا، والتقوا بهم وواقعوهم، فقتل عباس، وردّ نصر إلى القاهرة، وفرّ أسامة فى نفر معه إلى دمشق. وحاول أسامة أن يوثق صلته بحاكمها الجديد نور الدين الذى استولى عليها فى سنة قدومه سنة ٥٤٩، ويبدو أنه كسب حينئذ رضاه، وكاتب طلائع بن رزيك الوزير بمصر ليرسل إليه أسرته، فأرسلها بحرا غير أن سفينتها أصابها عطب فى مياه عكا وكانت مع الصليبيين، فنهبوا كل ما كان مع الأسرة من مال ومتاع، وتجشمت الأسرة كثيرا من الصعاب حتى وصلت دمشق وكان لذلك أثر أليم فى نفس أسامة.
ونزلت بأسامة فى سنة ٥٥٢ فاجعة أشد هولا، إذ دمرت الزلازل قلعة شيزر وأتت عليها ونزح عنها أهله وتشتتوا فى البلاد، وتملكها نور الدين خشية عليها من حملة الصليب، ويبدو أن أسامة كان يأمل أن يرد نور الدين الحصن عليه وعلى أسرته، ولعل ذلك ما جعله يقول فيه:
سلطاننا زاهد والناس قد زهدوا ... له فكلّ على الخيرات منكمش
أيامه مثل شهر الصوم طاهرة ... من المعاصى وفيها الجوع والعطش
أما أن أيام نور الدين البطل المغوار مدوّخ الصليبيين طاهرة فهذا صحيح إلى أقصى حد، وأما