فسمعنا أبا جعفر يقول: يا يزيد، إنا بنو هاشم نتجاوز عن المسيء ونأخذ بالفضل، لست عندنا كغيرك، إن لك وفاء، وأمير المؤمنين يرغب في الصنيعة إلى مثلك، فأبشر بما يسرك، فقال له ابن هبيرة: إن إمارتكم محدثة فأذيقوا الناس حلاوتها، وجنبوهم مرارتها، تجلبوا قلوبهم، وما زلت منتظراً لهذه الدعوة ثم قام، فقال أبو جعفر: عجباً لرجل يأمرني بقتل هذا.
قال بيهس: فلما كان يوم الاثنين لثلاث عشرة ليلة بقيت من ذي القعدة سنة اثنتين وثلاثين ومئة، بعث أبو جعفر خازم بن خزيمة، فقتل ابن هبيرة، وكان الذي تولى قتله عبد الله بن البختري الخزاعي، وقتل رباح بن أبي عمارة مولى لبني أمية، وعبيد الله بن الحبحاب الكاتب، وقتلوا داود بن يزيد بن عمر بن هبيرة، وأخرج أبا عثمان كاتب ابن هبيرة خازم بن خزيمة فقتله، وأخذ بشر بن عبد الملك بن بشر بن مروان، وأبان بن عبد الملك بن بشر بن مروان، وابنين لأبان بن عبد الملك بن بشر، والحوثرة بن سهيل ومحمد بن نباتة، وقعد الحسن بن قحطبة في مسجد حسان النبطي على الدجلة مما يلي المدائن، فحملوا إليه فضرب أعناقهم، وأتى بحارث بن قطن الهلالي فأمر به إلى السجن، وطلب خالد بن سلمة المخزومي، فلم يقدر عليه فنادى مناديهم أن خالد بن سلمة آمن، فخرج بعدما قتل القوم، فقتلوه أيضاً.
وقيل إن كتاب الأمان الذي كتب مكث يتشاور فيه العلماء أربعين يوماً، حتى رضيه ابن هبيرة، ثم أنفذه إلى أبي جعفر، فأنفذه أبو جعفر إلى أبي العباس فأمره بإمضائه، وكان رأي أبي جعفر الوفاء له بما أعطاه، وكان أبو العباس لا يقطع أمراً دون أبي مسلم، وكان أبو الجهم عيناً لأبي مسلم على أبي العباس، يكتب إليه بأخباره كلها،