بويع بالخلافة بعد موت أخيه يزيد الناقص، فقيل: إنه عهد إليه، وقيل: لا.
قال برد بن سنان: حضرت يزيد بن الوليد وقد احتضر فأتاه قطن، فقال: أنا رسول من وراء بابك، يسألونك بحق الله لما وليت أمرهم أخاك إبراهيم، فغضب فقال: أنا أولي إبراهيم؟ ثم قال: يا أبا العلاء، إلى من ترى أعهد؟ قلت: أمر نهيتك عن الدخول فيه فلا أشير عليك في آخره. قال: وأغمى عليه حتى حسبته قد مات فقعد قطن، فافتعل كتابًا بالعهد على لسان يزيد ودعا ناسًا فاستشهدهم عليه، ولا والله ما عهد يزيد شيئًا.
ومكث إبراهيم في الخلافة سبعين ليلة، ثم خلع، خرج عليه مروان بن محمد وبويع، فهرب إبراهيم، ثم جاء وخلع نفسه من الأمر، وسلمه إلى مروان، وبايع طائعًا. وعاش إبراهيم بعد ذلك إلى سنة اثنتين وثلاثين، فقتل فيمن قتل من بني أمية في وقعة السفاح.
وفي تاريخ ابن عساكر: سمع إبراهيم من الزهري، وحكى عن عمه هشام، وحكى عنه ابنه يعقوب، وأمه أم ولد، وهو أخو مروان الحمار لأمه.
وكان خلعه يوم الاثنين لأربع عشرة خلت من صفر سنة سبع وعشرين ومائة.
وقال المدائني: لم يتم لإبراهيم أمر، كان قوم يسلمون عليه بالخلافة، وقوم يسلمون بالإمرة، وأبى قوم أن يبايعوا له، وقال بعض شعرائهم: