وكانت خلافته سبع عشرة سنة وثمانية أشهر وأياماً، وكان مدَّة عمُره خمساً وأربعين سنة وأشهراً، وفتك به جماعة من الباطنية جهَّزهم السُّلطان مسعود، وهجموا عليه مخيمه بظاهر مراغة في سابع عشر ذي القعدة، وجاء الخبر إلى بغداد ليلة السادس والعشرين من الشهر رحمه الله تعالى. وكان مصرعه في سابع عشر الشهر.
وكانت الباطنية الذين هجموا عليه سبعة عشر نفساً، فقبض عليهم وقتلهم السُّلطان مسعود، وأظهر القلق والجزع وجلس للعزاء ووقع النِّياح والبكاء، وغُسِّل وكُفِّن ونُقِل إلى بغداد، وكان فيها من النِّياحة والبُكاء والضَّجيج ما يتجاوز الوصف، وله شعر، فمنه:
أنا الأشقرُ المدعوّ بي في الملاحم ومن يملكُ الدُّنيا بغير مزاحم ستبلغ أقصى الرُّوم خيلي وتنتَضي بأقصى بلاد الصِّين بيض صوارمي وكان سبب قتل مسعود له أنَّ السلطان سنجر بعث إليه يوبِّخه ويلومه على انتهاك حُرمة الخليفة ويأمره أن يرده إلى مقرِّ عزِّه وأن يحمل الغاشية بين يديه وأن يتذلَّل له بكل ممكن، ففعل ذلك وعمل في الباطن عليه فيما قيل. وقيل: بل الذي بعث الباطنية لقتله أيضاًَ سنجر، فالله أعلم.
وذكره ابنُ الصَّلاح في طبقات الشافعية، فقال: هو الذي صنَّف أبو بكر الشَّاشي كتاب العمدة في الفقه له، وبلقبه اشتُهِرَ الكتاب، فإنه حينئذ يُلَقَّب عمدة الدُّنيا والدِّين. قال: ورُوي أنه رأى في النَّوم في أسبوع موته كأن على يده حمامة فأتاه آتٍ، فقال له: خلاصك في هذا، فلمَّا أصبح قصَّ على ابن سُكَيْنَة الإمام رؤياه، فقال: يكون خيراً، فما أوَّلته يا أمير المؤمنين؟ قال: ببيت أبي تمَّام:
هُنَّ الحمام فإن كسرتَ عيافةً حاء الحَمام فإنَّهنَّ حِمام وخلاصي في حمامي، وليت من يأتي يُخلِّصني من ما أنا فيه من الذُلِّ والحَبْسِن فقُتِلَ بعد أيامٍ رحمه الله.