قبطيا، وإسلامه قبل بدر، ولم يشهدها لأنه كان مقيما بمكة، وشهد أحدا والخندق وما بعدهما من المشاهد. واختلف في من كان له قبل رسول الله صلّى الله عليه وسلم، فقيل كان للعباس رضي الله تعالى عنه فوهبه لرسول الله صلّى الله عليه وسلم، فلما أسلم العباس بشّر أبو رافع بإسلامه النبيّ صلّى الله عليه وسلم فأعتقه. وقيل كان لسعيد بن العاصي أبي أحيحة، ولا يثبت من جهة النقل.
وما روي أنه كان للعباس فوهبه للنبي صلّى الله عليه وسلم أولى وأصح، لأنهم قد أجمعوا أنه مولى رسول الله صلّى الله عليه وسلم لا يختلفون في ذلك. وزوّج رسول الله صلّى الله عليه وسلم أبا رافع سلمى مولاته؛ فولدت له عبيد الله بن أبي رافع، وكانت قابلة إبراهيم بن النبي صلّى الله عليه وسلم، وشهدت معه خيبر.
وكان عبيد الله بن أبي رافع خازنا وكاتبا لعلي بن أبي طالب رضي الله تعالى عنهم أجمعين، واختلف في وقت وفاة أبي رافع، فقيل قبل قتل عثمان رضي الله تعالى عنهما وقيل مات في خلافة علي رضي الله تعالى عنه، زاد في الكنى: وهو الصواب.