حتى قتله، واستولى على بلاد الشام، ولم يزل أميرا عليها مدة خلافة السفاح، فلما ولي المنصور خالف عليه ودعا إلى نفسه، فوجه إليه المنصور أبا مسلم صاحب الدولة فحاربه بنصيبين، فانهزم عبد الله بن علي، واختفى، وصار إلى البصرة، فأشخصه سليمان بن علي والي البصرة إلى بغداد، فحبسه أبو جعفر المنصور، ولم يزل في حبسه ببغداد حتى وقع عليه البيت الذي حبس فيه فقتله.
أخبرني الأزهري، قال: أخبرنا أحمد بن إبراهيم، قال: حدثنا إبراهيم بن محمد بن عرفة، قال: أخبرني أبو العباس المنصوري عن العثمي قال: دخل عبد الله بن علي بن عبد الله على هشام بن عبد الملك فأدنى مجلسه حتى أقعده معه، وأكرم لقاءه، وأظهر بره، ثم قال: ما أقدمك؟ فذكر له حاجته وما أصابه من خلة الزمان، وخرج بني لهشام بن عبد الملك صغير معه قوس ونشاب وهو يلعب كما تلعب الصبيان، فجعل الصبي يأخذ السهم فيرمي به عبد الله بن علي، حتى فعل ذلك مرات قال: وعبد الله بن علي ينظر إليه، ثم قام عبد الله فخرج، وذلك بعين مسلمة بن عبد الملك، فقال مسلمة: يا أمير المؤمنين أما رأيت ما صنع الصبي؟ والله لا يكون قتله وقتل رجال أهل بيته إلا على يديه، فقال هشام: لا تقل هذا فإنك لا تزال تأتينا بشيء لا نعرفه، قال: هو والله ذاك، وما أقول لك. قال: فوالله ما مضت الأيام والليالي حتى ورد عبد الله واليا على الشام من قبل أبي العباس، فقتل ثلاثة وثمانين رجلا من بني أمية، فأتي بالصبي فيمن أتي به، فقال: أنت صاحب القوس فقدم فضربت عنقه.
أخبرني الحسن بن أبي بكر، قال: أخبرنا محمد بن إبراهيم الجوري في كتابه، قال: أخبرنا أحمد بن جعفر بن حمدان بن الخضر، قال: حدثنا