وتوفي ابن حبيب في ذي الحجة، سنة ثمان وثلاثين، وقيل تسع وثلاثين ومائتين. وقد بلغ سنة ستاً وخمسين سنة. وقال الشيرازي ثلاثاً وخمسين سنة. وقبره بقرطبة أم سلمة في قبلة مسجد الضيافة. وصلى عليه ابنه يحيى. وقال محمد بن حارث: توفي سنة سبع وثلاثين ومائتين إلا ستة شهور في ولاية الأمير محمد. قال ابن لبابة: حفر الى ابن وضاح الى جانب قبر ابن حبيب فانفتح ما بين القبرين فأدخل الحافر يده الى جنبه، وافر؟ لم تأكله الأرض. والتصق بيده من الكفن ورثاه أبو عبادة الرشاش وغيره:
لئن أخذت منا المنايا مهذباً ... وقد قل فينا من يقال المهذب
لقد طال فيه الموت والموت غبطة ... لمن هو مهموم الفؤاد معذب
ولأحمد بن باجي فيه من قصيدته:
ماذا تضمن قبر أنت ساكنه ... من التقى والندى يا خير موعود
عجبت للأرض أن غيبتك وقد ... ملأتها حكماً في البيض والسود
وخلف ابنين. محمد، وعبد الله، من ولده، وكان له حظ من العلم، إلا أن الزهد غلب عليه والعبادة. فانقطع إليها ولم يرغب في الدنيا، وعاد الى بلده البيرة، فلزمها الى أن توفي سنة إحدى وتسعين ومائتين. وقيل في نيف عليها.