فتظاهر بالإسلام، وذلك في أول خلافة عثمان رضي الله عنه وقيل في آخر خلافة عمر رضي الله عنه، وأخذ ينتقل بين الأمصار الإسلامية لبث سمومه وأفكاره المنحرفة.
وقد ساق الإمام ابن جرير الطبري قصة فتنة ابن سبأ في تاريخه من عدة طرق وهي طويلة أقتطف منها ما يهمنا فيما نحن بصدده، وهو معرفة جذور أعدائنا ووسائلهم وأهدافهم مع الربط بين القديم منها والحديث.
.... قال- بعد ذكر الأسانيد- كان عبد الله بن سبأ يهودياً من أهل صنعاء، فأسلم زمن عثمان، ثم تنقل في بلدان المسلمين يحاول ضلالتهم، فبدأ بالحجاز ثم البصرة ثم الكوفة ثم الشام، فلم يقدر على ما يريد عند أحد من أهل الشام فأخرجوه، حتى أتى
مصر فاعتمر فيهم، فقال لهم فيما يقول؟ لعجب ممن يزعم أن عيسى يرجع، ويكذب بأن محمداً يرجع، وقد قال الله تعالى:{إِنَّ الَّذِي فَرَضَ عَلَيْكَ الْقُرْآنَ لَرَادُّكَ إِلَى مَعَادٍ} فمحمد أحق بالرجوع من عيسى، قال: فَقُبِل ذلك عنه، فوضع لهم الرجعة فتكلموا فيها، ثم قال لهم بعد ذلك: إنه كان ألف نبي، ولكل نبي وصي وكان علي وصي محمد، ثم قال: فمحمد خاتم الأنبياء، وعلي خاتم الأوصياء، ثم قال بعد ذلك: ومن أظلم ممن لم يجز وصية رسول الله صلى الله عليه وسلم، ووثب على وصي رسول الله صلى الله عليه وسلم، وتناول أمر الأمة ... ، ثم قال لهم بعد ذلك: إن عثمان أخذها بغير حق وهذا وصي لرسول الله -صلى الله عليه وسلم- فانهضوا في هذا الأمر فحركوه،