قال ابن الجوزي: كان الوزير يتأسف على ما مضى، ويندم على ما دخل فيه، ولقد قال لي: كان عندنا بالقرية مسجد فيه نخلة تحمل ألف رطل، فحدثت نفسي أن أقيم في ذلك المسجد، وقلت لأخي مجد الدين: أقعد أنا وأنت، وحاصلها يكفينا، ثم انظر إلى ما صرت. ثم صار يسأل الله الشهادة، ويتعرض لأسبابها، وفي ليلة ثالث عشر جمادى الأولى سنة ستين وخمس مائة استيقظ وقت السحر، فقاء، فحضر طيبه ابن رشادة، فسقاه شيئًا، فيقال: إنه سمه، فمات، وسقي الطبيب بعده بنصف سنة سمًا، فكان يقول: سقيت فسقيت، فمات، ورأيت أنا وقت الفجر كأني في دار الوزير وهو جالس، فدخل رجل بيده حربة، فضربه بها، فخرج الدم كالفوارة، فالتفت فإذا خاتم ذهب، فأخذته، وقلت: لمن أعطيه? أنتظر خادمًا يخرج فأسلمه إليه، فانتبهت، فأخبرت من كان معي، فما استتممت الحديث حتى جاء رجل، فقال: مات الوزير، فقال رجل: هذا محال، أنا فارقته في عافية أمس العصر، فنفذوا إلي، وقال لي ولده: لا بد أن تغسله، فغسلته، ورفعت يده ليدخل الماء في مغابنه، فسقط الخاتم من يده حيث رأيت ذلك الخاتم، ورأيت آثارًا بجسده ووجهه تدل على أنه مسموم، وحملت جنازته إلى جامع القصر، وخرج معه جمع لم نره لمخلوق قط، وكثر البكاء عليه لما كان يفعله من البر والعدل، ورثته الشعراء.
قلت: له كتاب "الإفصاح" عن معاني "الصحاح" شرح فيه "صحيحي البخاري ومسلم" في عشر مجلدات، وألف كتاب "العبادات" على مذهب أحمد، وله أرجوزة في "المقصور والممدود"، وأخرى في "علم الخط"، واختصر كتاب "إصلاح المنطق" لابن السكيت.
وقيل: إن الحيص بيص دخل على الوزير، فقال الوزير: قد نظمت بيتين، فعززهما:
زار الخيال نحيلًا مثل مرسله … فما شفاني منه الضّمّ والقبل
ما زارني الطّيف إلَّا كي يوافقني … على الرّقاد فينفيه ويرتحل
فقال الحيص بيص بديهًا:
وما درى أنّ نومي حيلةٌ نصبت … لوصله حين أعيا اليقظة الحيل
قال أبو المظفر سبط ابن الجوزي: وقد اضطر ورثة الوزير ابن هبيرة إلى بيع ثيابهم وأثاثهم، وبيعت كتب الوزير الموقوفة على مدرسته، حتى لقد أبيع البستان لأبي الليث السمرقندي في الرقائق بخط منسوب وكان مذهبًا بدانقين وحبة، وقيمته عشرة دنانير، فقال واحد: ما أرخص هذا البستان! فقال جمال الدين بن الحصين: لثقل ما عليه من الخراج يشير إلى الوقفية فأخذ وضرب وحبس.