بعلبك للصالح إسماعيل، فنفق عليه وعلى وزيره الأمين المسلماني، ولما غلب إسماعيل على دمشق ولاه قضاءها، فكان مذموم السيرة، خبيث السريرة، وواطأه أمين الدولة على أذية الناس، واستعمل شهود زور ووكلاء، فكان يطلب ذو المال إلى مجلسه فيبث مدع عليه بألف دينار ويحضر شهوده، فيتحير الرجل ويبهت، فيقول الرفيع: صالح غريمك، فيصالح على النصف، فاستبيحت أموال المسلمين، وعظم الخطب، وتعثر خلق، وعظمت الشناعات، واستغاثوا إلى الصالح، فطلب وزيره، وقال: ما هذا? فخاف، وكان إسماعيل البلاء الموفق الواسطي فتح أبواب الظلم، فبادر الوزير وأهلكهما لئلا يقرا عليه وليرضي الناس ويقال: كان الصالح يدري أيضًا.
ذكر الصدر عبد الملك بن عساكر في "جريدته": أن القاضي الرفيع دخل من توجهه إلى بغداد رسولًا، فركب لتلقيه الوزير أمين الدولة، والمنصور ولد السلطان، فدخل في زخم عظيم، وعليه خلعة سوداء وعلى جميع أصحابه، فقيل: ما دخل بغداد ولا أخذت منه الرسالة، فزد واشترى الخلع لأصحابه من عند، قال: وشرع الصالح في مصادرة الناس على يد الرفيع، وكتب إلى نوابه في القضاء يطلب منهم إحضار ما تحت أيديهم من أموال اليتامى، وكان يسلك طريق الولاة، ويحكم بالرشوة، ويأخذ من الخصمين، ولا يعدل أحدًا إلَّا بمال، ويأخذ جهرًا، واستعار أربعين طبقًا ليهدي فيها إلى صاحب حمص فلم يردها وغارت المياه في أيامه، ويبست الشجر وصقعت، وبطلت الطواحين، ومات عجمي خلف مائة ألف فما أعطى بنته فلسًا، وأذن للنساء في عبور جامع دمشق، وقال: ما هو بأعظم من الحرمين فامتلأ بالرجال والنساء ليلة النصف.
وقال سبط الجوزي: حدثني جماعة أعيان: أن الرفيع كان فاسد العقيدة، دهريًا، يجيء إلى الجمعة سكرانًا، وأن داره مثل الحانة.
وحكى لي جماعة أن الوزير السامري بعث به في الليل على بغل بأكاف إلى قلعة بعلبك ونفذ به إلى مغارة أفقه فأهلكه بها، وترك أيامًا بلا أكل، وأشهد على نفسه ببيع أملاكه للسامري، وأنه لما عاين الموت قال: دعوني أصلي، فصلى فرفسه داود من رأس شقيف فما وصل حتى تقطع، وقيل: بل تعلق ذيله بسن الجبل، فضربوه بالحجارة حتى مات.
وقال رئيس النيرب: سلم الرفيع إلى وإلى سيف النقمة داود، فوصلنا به إلى شقيف فيه عين ماء فقال: دعوني أغتسل، فاغتسل وصلى ودعا فدفعه داود فما وصل إلَّا وقد تلف، وذلك في أول سنة اثنتين وأربعين وست مائة.