شعوره بما حل باليهود من نوائب على ما كان يرفل فيه من نعيم، فأخذ يتغنى بشعبه، وبأقرانه، ودينه، وكان يتوق كما يتوق غيره من اليهود لأن يختتم حياته في فلسطين:
أي مدينة الدنيا (أورشليم) يا ذات الجمال والجلال والكبرياء!
ليت لي جناحي نسر أطير بهما إليك حتى أبلل بدمعي ثراك!
إن قلبي في الشرق، وإن كنت مقيماً في الغرب (١٣).
ولم يكن يهود أسبانيا المنعمون فيها يرون في هذه الأشعار أكثر من ألفاظ مقفاة موزونة، ولكن هليفي كان مخلصاً في أقواله. فقد استودع أسرته في أيد أمينة عام ١١٤١، وبدأ رحلة شاقة إلى أورشليم. وأتت الرياح بما لا تشتهي سفينته فحولتها عن طريقها ودفعتها إلى الإسكندرية حيث استقبلته الجالية اليهودية، ورجته ألا يجازف بالذهاب إلى أورشليم وكانت وقتئذ في أيدي الصليبيين. وبعد أن أقام في الإسكندرية وقتاً ما غادرها إلى دمياط ومنها إلى صور ثم انتقل منها لسبب لا نعلمه إلى مشق حيث اختفى ذكره من التاريخ. وتقول إحدى الأقاصيص أنه ذهب إلى أورشليم، فلما وقعت عينه عليها أول ما وقعت خرَّ راكعاً، وقبَّل الأرض، فداسته حوافر جواد يركبه أعرابي وقضت على حياته (١٤). ولكننا لا نعرف هل وصل حقاً إلى مدينة أحلامه، وكل الذي نعلمه علم اليقين أنه كتب في دمشق "أغنية لصهيون" ولعله كتبها في آخر سنة من حياته، وكان جوت الشاعر الألماني يعدها من أعظم القصائد في أدب العالم كله (١٥):
ألا ترغبين يا صهيون في أن تبعثي بتحياتك من صخورك المقدسة
إلى شعبك الأسير الذي يحييك لأنه البقية الباقية من أبنائك؟ …
ألا ما أجش صوتي وأنا أندب أحزانك ولكني حين أبصر حريتك في