قال ابن عمر: حدثني إسحاق بن يحيى بن طلحة أنه سمع مجاهدا يقول: حضرت موته فدخل يزيد فقال: عموا قبري ففعل يزيد فقبرناه ليلا في أصل حصن قسطنطينة ثم أمر يزيد بالخيل تقبل عليه وتدبر حتى عمي قبره فأشرف أهل قسطنطينية حين أصبحوا فقالوا: لقد كان الليلة شأن لقد مات فيكم عظيم فقال يزيد: أجيبوهم. فقالوا: هذا رجل من أصحاب رسول الله صلى الله عليه وسلم من أقدمهم إسلاما وقد قبرناه حيث رأيتم والله لئن مس لا يضرب ناقوس العرب ما كانت لنا مملكة.
قال مجاهد: فكانوا إذا قحطوا كشفوا عن قبره فمطروا. قال: وبنى الروم على قبره بناء وعلقوا عليه أربع قناديل تسرج.
قال أبو القاسم: وقد روى عن أبي أيوب غير واحد من أصحاب رسول الله صلى الله عليه وسلم منهم: المقدام بن معدي كرب وجابر بن سمرة وعبد الله بن يزيد الأنصاري وأبو أمامة الباهلي وغيرهم.