سكن الكوفة ثم رجع إلى المدينة فمات بها رحمه الله. قال أبو القاسم: رأيت في كتاب محمد بن سعد: رافع بن خديج بن رافع بن عدي بن زيد بن جشم بن حارثة بن الحارث الأنصاري وأمه حليمة بنت عروة بن مسعود بن سنان من بني عامر من الخزرج
شهد رافع احدا والخندق والمشاهد كلها مع رسول الله صلى الله عليه وسلم وكان له أخ يقال له: رفاعة بن خديج صاحب رسول الله صلى الله عليه وسلم ولرافع عقب كثير بالمدينة وبغداد.
قال: وكان رافع يكنى [أبا عبد] الله وكان عريف قومه.
٧٠٤ - حدثني أحمد بن زهير نا عمرو بن مرزوق نا شعبة عن عمرو بن مرة عن أبي البختري عن أبي سعيد الخدري أنه قال لمروان من حديث ذكره هذا فخشى أن ينزعه عن عرافه قومه يعني رافع بن خديج.
٧٠٥ - حدثنا علي بن الجعد نا حماد بن سلمة عن خالد الحذاء عن مجاهد عن رافع بن خديج: أن رسول الله صلى الله عليه وسلم نهى عن كرى الأرض.