وضربوه بشدة، ولكن الحصن كان في منتهى المناعة، فلم تنجح الآلات الضخمة في هدمه أو ثلم أسواره، ورد المدافعون كل محاولة للمحاصرين بمنتهى العنف والشدة، وامتنعوا داخل حصنهم. وطال الحصار زهاء أربعة أشهر، والقوات المحاصرة تحاول اقتحامه، كل جماعة بدورها، والنصارى صامدون، يتساقطون داخل حصنهم من الجوع والإعياء. وشعر أمير المسلمين من جراء ذلك بخيبة أمل مرة، بيد أنه شعر كذلك باستياء بالغ لما شهده من أحوال أمراء الأندلس المشاركين في الحصار، فقد كان الخلاف والوقيعة على أشدهما بين أولئك الأمراء الطامعين المتنابذين، فكان تميم صاحب مالقة، وأخوه عبد الله صاحب غرناطة، يشكو كل منهما الآخر، ويتهمه باغتصاب حقوقه في الميراث والسيادة، وكان ابن عباد والمعتصم بن صمادح يوقع كل منهما في حق صاحبه لدى أمير المسلمين، ويتهمه بمختلف التهم. وبرز من بين هذه الخصومات بالأخص خلاف المعتمد وابن رشيق، فقد شكا ابن عباد ابن رشيق لأمير المسلمين، واتهمه باغتصاب الولاية منه على مرسية، واتهمه بما هو شر من ذلك، وهو أنه متفاهم مع ملك قشتالة سراً، وقد دفع إليه جباية مرسية، وأنه يعاون حامية الحصن في الخفاء، واهتم أمير المسلمين لتلك التهم، ومال إلى تصديقها، واستفتى الفقهاء في أمر ابن رشيق، فأفتوا بإدانته، فأمر بتسليمه لابن عباد على شرط أن يبقى على حياته. وكان لهذا الحادث أسوأ الأثر في المعسكر المحاصر، فإن قادة مرسية ومعظمهم من أقارب ابن رشيق ورجاله، غادروا المعسكر في جندهم غاضبين، وقطعوا المؤن التي كانت ترسل إلى المحاصرين من مرسية وأحوازها، فاختل أمر المعسكر، ولحق به الضيق والغلاء، وعلم أمير المسلمين من جهة أخرى أن ملك قشتالة يسير في قوة كبيرة لإنجاد الحصن، فآثر الانسحاب وعدم الاشتباك مع القشتاليين في معركة غير مجدية. وقدم ألفونسو إلى الحصن، فلم يجد بداخله من المدافعين سوى مائه فارس وألف راجل، ولما رأى أنه لا فائدة من الاحتفاظ به، وأنه يقتضي لذلك حامية كبيرة، قرر إخلاءه وتقويض أسواره وأبراجه، وعاد أدراجه، وذلك في سنة ١٠٨٩ م (٤٨٢ هـ). واحتل ابن عباد أطلال الحصن بعد أن غادره النصارى.
ولم ير يوسف بعد هذا الإخفاق مجالا لمحاولات أخرى، فاتجه نحو لورقة،