بايع أتباع زكرويه ابنه يحيى في سواد الكوفة عام ٢٨٩هـ ولقبوه الشيخ كما كان يعرف أبو القاسم على حيث بقي أبوه زكرويه في مخبئه ويبدو أن يحيى هذا هو الذي قتل عبدان داعية القرامطة الأول.
ادعى يحيى نسبا إسماعيليا فزعم أنه محمد بن عبدالله بن محمد بن إسماعيل بن جعفر الصادق وسار يحيى إلى دمشق بعد أن انتهب وانتهك حرمات البلاد التي مر عليها كلها وحاصرها عام ٢٩٠هـ إلا أنه عجز عن فتحها إذ جاءتها نجدات من بغداد ومن مصر ولما عرف أنه مقتول لا محالة ادعى أنه سيطلع إلى السماء غدا وأنه سيبقى فيها أربعين يوما ثم يعود وأن أخاه الحسن سيأتي غدا في نجدة وكان قد بلغه ذلك فعليهم مبايعته والقتال معه والسير وراءه وفي معركة اليوم التالي قتل يحيى بن زكرويه على أبواب دمشق وعرف باسم صاحب الجمل حيث كان يمتطي جملا خاصا.
اجتمع القرامطة على الحسين زكرويه فادعى نسبا إسماعيليا وأنه أحمد بن عبدالله بن محمد بن إسماعيل بن جعفر الصادق ووضع شامة على وجهه لذا عرف باسم صاحب الخال أو أبو شامة وقال إنها آية لما يتم على يديه وزعم أنه قادر على القيام بمعجزات خرج الحسين في جهات الكوفة وسار نحو أخيه إلى دمشق ومر في طريقه على الرملة غربي بيت المقدس وكان عبيد الله المهدي مختبئا فيها في طريقه إلى المغرب خوفا من العباسيين الذي عرفوا مكانه بالسلمية وقد عرف الحسين مكان عبيد الله وعرف اختلاف القرامطة فعرج عليه لاسترضائه وإظهار الطاعة عسى أنه يستفيد منه وقد أبدى عبيد الله رضاءه ولكن ما إن تركه الحسين حتى خافه وخشي أن يقتله أو يخبر العباسيين بمكان وجوده إذ عرف رغبة أسرته في التفرد بالسلطة والرغبة في السيطرة والقضاء على كل من يقف في وجهها ومن جملتهم عبيد الله لذا فقد ترك الرملة مباشرة واتجه إلى مصر ومنها إلى المغرب حيث أقام دولته هناك.
سار الحسين من الرملة إلى دمشق فوجد أخاه يحيى قد قتل فالتف القرامطة حوله وحاصر بهم دمشق ولكنه عجز عن فتحها فطلبه أهل حمص فسار إليهم فأطاعوه ثم انتقل إلى السلمية فامتنعت عنه ثم فتحت له أبوابها بعد أن أعطى أهلها الأمان وما عن دخلت حتى نكل بقاطنيها فأحرق دورها وهدم القلاع فيها وقتل الهاشميين فيها دلالة على الحقد الذي في صدور القرامطة على آل البيت وإن ادعوا نسبا يتصل بهم وإظهارا لكراهيتهم للإسلام الذي قضى على المجوسية في فارس وكان الهاشميون قد قادوا الدعوة للإسلام ثم قتل آل عبيد الله المهدي جميعا دلالة على الخلاف بينهم على الرغم من أصول الدعوة الواحدة إذ أن كلا الأسرتين تريدان الزعامة والاحتفاظ بالدعوة وبالتالي التمكين لنفسها وبخاصة أن عبيد الله المهدي كان قد رفض إعطاء آل زكرويه مراكز هامة في الدعوة لما يتحسس منهم ويشعر عما في نفوسهم لذا نقموا عليه وبدأ الخلاف بين الطرفين وعندما التقى الحسين بالإمام عبيد الله المهدي في الرملة أظهر عبيد الله الإيجاب وأنه يحسن الظن بآل زكرويه وذلك حتى لا يضروه فهو غير قادر على مقاومتهم في بلاد الشام ولا يملك من القوة إلا القليل من الأتباع الذين لا يستطيعون الدفاع عنه إضافة إلى أنه يخشى على أهله في السلمية وقد غادرها وذلك إذا تمكن آل زكرويه من السيطرة عليها وهذا ما قد وقع.
سار الحسين بقرامطته إلى حماة والمعرة وبعلبك وقتل أهل كل بلد وصل إليها وأغارت جماعته على جهات حلب ولكنهم غلبوا لذا عادوا فاتجهوا إلى جهات الكوفة مقرهم الأصلي وهناك قاتلهم الخليفة العباسي المكتفي فوقع الحسين بن زكرويه أسيرا فحمل إلى بغداد حيث قتل وصلب فيها عام ٢٩١هـ وهكذا انفصلت دعوة آل زكرويه القرمطية عن دعوة عبيد الله القداحية.