مر النبي صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ بقبر أبي أحيحة، فقال أبو بكر: هذا قبر أبي أحيحة الفاسق، فقال خالد بن سعيد: والله ما يسرني أنه في أعلى عليين وأنه مثل أبي قحافة، فقال النبي صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ: لا تسبوا الموتى فتغضبوا الأحياء.
قالت أم خالد بنت خالد بن سعيد: قدم أبي من اليمن إلى المدينة بعد أن بويع لأبي بكر فقال لعلي وعثمان: أرضيتم بني عبد مناف أن يلي هذا الأمر عليكم غيركم؟ فنقلها عمر إلى أبي بكر فلم يحملها أبو بكر على خالد، وحملها عمر عليه، وأقام خالد ثلاثة أشهر لم يبايع أبا بكر.
ثم مر عليه أبو بكر بعد ذلك مظهراً وهو في داره فسلم، فقال له خالد: أتحب أن أبايعك؟ فقال أبو بكر: أحب أن تدخل في صالح ما دخل فيه المسلمون، فقال: موعدك العشية أبايعك. فجاء وأبو بكر على المنبر، فبايعه، وكان رأي أبي بكر فيه حسناً، وكان معظماً له.
فلما بعث أبو بكر الجنود على الشام عقد له على المسلمين، وجاء باللواء إلى بيته، فكلم عمر أبا بكر فقال: تولي خالداً وهو القائل ما قال؟ فلم يزل به حتى أرسل أبا أروى الدوسي فقال: إن خليفة رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ يقول لك: اردد إلينا لواءنا، فأخرجه فدفعه إليه وقال: والله ما سرتنا ولايتكم ولا ساءنا عزلكم وإن المليم لغيرك.
فما شعرت إلا بأبي بكر داخلاً على أبي يتعذر إليه ويعزم عليه ألا يذكر عمر بحرف، فوالله ما زال أبي يترحم على عمر حتى مات.
ولما قتل الرومي خالد بن سعيد قلب ترسه وأسلم واستأمن فقال: من الرجل الذي قتلنا، فإني رأيت له نوراً ساطعاً في السماء؟ وقال خالد بن سعيد وهو يقاتل تلك الأعلاج من الروم:
هل فارسٌ كره النّزال يعيرني ... رمحاً إذا نزلوا بمرج الصّفّر