روى عنه: محمد بن يحيى الذُّهليُّ، ويونس بن عبد الأعلى، وعبد العزيز بن عِمْران المصريان، وابنه عُبَيْد الله بن سعيد، ومحمد بن إسحاق الصَّاغانيُّ، وروى مسلم والنَّسَائي عن رجل عنه.
قال أبو حاتم: لم يكن بالثَّبْت، كان يقرأ من كتب النَّاس.
وقال أبو أحمد بن عدي: سمعت ابن حَمَّاد يقول: قال السَّعدي: سعيد بن عُفير فيه غير لونٍ من البدع، وكان مُخَلِّطًا، غير ثقة.
قال أبو أحمد: وهذا الَّذي قال السَّعدي لا معنى له، ولم أسمع أحدًا، ولا بلغني عن أحد من النَّاس كلامًا في سعيد بن عفير، وهو عند النَّاس صدوق ثقة، وقد حَدَّثَ عنه الأئمة، إلَّا أن يكون السَّعدي أراد به سعيد بن عفير آخر، ولا أعرف سعيد بن عفير آخر، ولم ينسب ابن عفير إلى بدعة، ولا نسبه أحد إلى الكذب.
وقال أبو سعيد بن يونس: دعوتهم في موالي بني سَلَمَة من الأنصار، وكان سعيد يقول: إنَّه من صليبة بني نُعَيْم من بني حَنْظَلَة بن يَرْبوع، وإنه جرى عليه سَبْيًا في الجاهلية، فأعتقهم بنو سلمة، ذكر ذلك ابن قديد، عن عُبَيْد الله بن سعيد، وسمعت عليّ بن قديد يقول: كان يحيى بن عثمان بن صالح يقول: إنَّه مولى بني هاشم، وإنه أقرَّ له بذلك.
قال ابن قديد: وأرى ذلك؛ لأنَّ أم سعيد بن كثير بنت الحسن بن راشد مولى بني هاشم.
قال ابن يونس: وكان سعيد بن كثير من أعلم النَّاس بالأنساب، والأخبار الماضية، وأيام العرب، مآثرها، ووقائعها، والتواريخ، والمناقب والمثالب، وكان في ذلك كله شيئًا عجبًا، وكان مع ذلك أديبًا فصيح اللسان، حسن البيان، حاضر الحجة، لا تُمَلُّ مجالسته،