فيهم حاله، ولكن اكتب إلى أبي مسلم فليبعث إليه من يقتله، فكتب إلى أبي مسلم بذلك، فبعث بذلك أبو مسلم مرّار بن أنس الضبيّ، فقدم على أبي العباس في المدينة الهاشمية وأعلمه سبب قدومه فأمر أبو العباس مناديًا فنادى: إن أمير المؤمنين قد رضي عن أبي سلمة ودعاه وكساه، ثم دخل عليه بعد ذلك ليلةً، فلم يزل عنده حتى ذهب عامة الليل، ثم خرج منصرفًا إلى منزله يمشي وحده؛ حتى دخل الطاقات، فعرض له مرّار بن أنس ومَن كان معه من أعوانه فقتلوه، وأغلقت أبواب المدينة، وقالوا: قتل الخوارج أبا سلمة، ثم أخرِج من الغد؛ فصلى عليه يحيى بن لمحمد بن عليّ، ودفن في المدينة الهاشميّة، فقال سليمان بن المهاجر البَجليّ:
إنَّ الوزيرَ وزيرَ آل محمد ... أَودَى فمن يَشْناك كان وزيرا
وكان يقال لأبي سلمة: وزير آل محمد، ولأبي مسلم: أمين آل محمد، فلما قتِل أبو سلمة وجّه أبو العباس أخاه أبا جعفر في ثلاثين رجلًا إلى أبي مُسلم؛ فيهم الحجاج بن أرطاة وإسحاق بن الفضل الهاشميّ.
ولما قدم أبو جعفر على أبي مسلم سايَره عبيد الله بن الحسين الأعرج وسليمان بن كثير معه، فقال سليمان بن كثير للأعرج: يا هذَا؛ إنا كنّا نرجو أن يتمّ أمركم؛ فإذا شئتم فادعونا إلى ما تريدون، فظنَّ عبيد الله أنه دسيس من أبي مسلم، فخاف ذلك، وبلغ أبا مسلم مسايرةُ سليمان بن كثير إياه، وأتى عبيد الله أبا مُسلم، فذكر له ما قال سليمان، وظنّ أنه إن لم يفعل ذلك اغتاله فقتله، فبعث أبو مسلم إلى سليمان بن كَثير، فقال له: أتحفظ قول الإمام لي: من اتهمتَه فاقتله؟ قال: نعم، قال: فإني قد اتّهمتك، فقال: أنشدك الله! قال: لا تناشدني الله وأنت منطوٍ على غشّ الإمام؛ فأمر بضرب عنقه، ولم يرَ أحدًا ممن كان يضرب عنقه أبو مسلم غيره، فانصرف أبو جعفر من عند أبي مسلم، فقال لأبي العباس: لستَ خليفةً ولا أمرك بشيء إن تركتَ أبا مسلم ولم تقتله، قال: وكيف؟ قال: والله ما يصنع إلا ما أراد، قال أبو العباس: اسكت فاكتمها. [٧/ ٤٤٨ - ٤٥٠].
وذكر أبو زيد أنّ محمد بن كثير حدّثه، قال: كلَّم ابن هبيرة يومًا أبا جعفر، فقال: يا هناه - أو يا أيّها المرء - ثم رجع، فقال: أيها الأمير؛ إنّ عهدي بكلام