يكنى أبا سَعِيد، أسلم يَوْم الفتح، وصحب النَّبِيّ ﷺ وكان اسمه عَبْد الكعبة، فسماه رَسُول اللَّه ﷺ: عَبْد الرَّحْمَن، وسكن البصرة، واستعمله عَبْد اللَّه بْن عَامِر لما كَانَ أميرًا عَلَى البصرة عَلَى جيش، فافتتح سجستان، سنة ثلاث وثلاثين، وصالح صاحب الرخج، وأقام بها حتَّى اضطرب أمر عثمان بْن عفان، فسار عَنْهَا واستخلف رجلًا من بني يشكر، فأخرجه أهل سجستان.
ثُمَّ لما استعمل معاوية عَبْد اللَّه بْن عَامِر عَلَى البصرة، سير عَبْد الرَّحْمَن بْن سمرة إِلَى سجستان أيضًا، سنة اثنتين وأربعين، ومعه فِي تلك الغزوة الْحَسَن الْبَصْرِيّ، والمهلب بْن أَبِي صفرة، وقطري بْن الفجاءة، ففتح زرنج، وفي سنة ثلاث وأربعين فتح الرخج، وزابلستان.
ثُمَّ عزله معاوية سنة ست وأربعين، عَنْ سجستان، واستعمل بعده الربيع بْن زياد، فلما عزل عاد إِلَى البصرة فتوفي بها سنة خمسين، وقيل: سنة إحدى وخمسين، وقيل: كانت وفاته بمرو، والأول أثبت، وأكثر إِلَيْه تنسب سكة سمرة بالبصرة، وكان متواضعًا، فإن كَانَ اليوم المطير ليس برنسًا وأخذ المسحاة يكنس الطريق.
روى عَنْهُ: الْحَسَن، وابن سِيرِينَ، وعمار بْن أَبِي عمار مَوْلَى بني هاشم، وسعيد بْن المسيب، وغيرهم.