قال سعيد بن عبد العزيز: كان خالد بن أمية إذا لم يجد أحداً يحدثه حدث جواريه، ثم يقول: إني لأعلم أنكن لستن بأهل. يريد بذاك الحفظ.
وعن ابن شهاب أن خالد بن يزيد كان يصوم الأعياد كلها: السبت والأحد والجمعة.
قال خالد بن يزيد القرشي: كانت لي حاجة بالجزيرة، فاتخذتها طريقاً مستخفياً، قال: فبينا أنا أسير بين أظهرهم فإذا أنا بشمامة ورهبان وكان رجلاً لبيباً لسناً ذا رأي فقلت لهم: ما جمعكم هاهنا؟ قالوا: إن شيخاً سياحاً نلقاه في كل يوم مرة في مكانك هذا، فنعرض عليه ديننا وننتهي فيه إلى رأيه؛ قال: وكنت رجلاً معنياً بالحديث، فقلت: لو دنوت من هذا فلعلي أسمع منه شيئاً أنتفع به، منه، فلما نظر إلي قال لي: ما أنت من هؤلاء، قلت: أجل، قال: من أمة محمد أنت؟ قلت: نعم، قال: من علمائهم أو من جهالهم؟ قال: قلت لست من علمائهم ولا من جهالهم؛ قال: ألستم تزعمون في كتابكم أن أهل الجنة يأكلون ويشربون ولا يبولون ولا يتغوطون؟ قال: قلت: نعم، نقول ذلك وهو كذلك، قال: فإن لهذا مثلاُ في الدنيا، فما هو؟ قال: مثل هذا الصبي في بطن أمه يأتيه رزق الرحمن بكرةً وعشياً لا يبول ولا يتغوط، قال: فتربد وجهه وقال لي: ألم تزعم أنك لست من علمائهم؟! قال: قلت بلى، ما أنا من علمائهم ولا من جهالهم، قال: ألستم تزعمون أن أهل الجنة يأكلون ويشربون ولا ينقص مما في الجنة شيء؟ قال: نقول ذلك وهو كذلك، قال: فإن لهذا مثلاً في الدنيا؛ فما هو؟ قال: فقلت: مثل هذا مثل رجل آتاه الله علماً وحكمة، وعلمه كتابه، فلو اجتمع جميع من خلق الله فتعلموا منه ما نقص من علمه شيء، قال: فتربد وجهه فقال: ألم تزعم أنك لست من علمائهم! قال: قلت: أجل، ما أنا من علمائهم ولا من جهالهم، فقال لي: ألستم تقولون في صلاتكم: السلام علينا وعلى عباد الله الصالحين؟ قال: قلت: بلى، قال: فلهي عني، ثم أقبل على