كان أبوه رجلا صالحا، سليم الصدر، ونشأ ولده هذا على طريق التصوف من العزلة وإظهار العبادة، ولم يزل من سنة إحدى وثلاثين وخمس مائة كلما دخلت أشهر الحج ..
يحج على نجيب له إلى سنة ست وثلاثين وخمس مائة، فكان يلقى علماء العراق والوعاظ، فيباحثهم في علومهم، ويتضلع من معارفهم، فأظهر الوعظ والتحذير من صحبة الملوك وحراستهم، وكان يتحدث في أحوال المستقبلات فيصدق، وكان ذلك من أقوى عدده في استمالة قلوب الغوغاء، وظهر أمره في سواحل وادي زبيد كالأهواب والقضيب والفازة والعنبرة وواسط، وكان يتنقل في هذه الأماكن، ويكثر الوعظ، وكان سريع الدمعة غزيرها، فظهر أمره في سنة إحدى وثلاثين، وشهر بالصلاح والمكاشفة، فثبت له بذلك عند الحرة علم أم فاتك بن منصور مكانة، فأطلقت له خراج أرضه وأراضي أقاربه وأصحابه ومن يلوذ به، فلم تكن هنيهة حتى قد أثروا، واتسعت بهم الحال، وركبوا الخيل، فكانوا كما قال المتنبي:[من الكامل]
فكأنما نتجت قياما تحتهم ... وكأنما ولدوا على صهواتها
ثم أتاه قوم من أهل الجبال، فحالفوه على الدخول في طاعته، والنصرة له، والقيام معه، فقصد بهم مدينة الكدراء في أربعين ألفا، فلقيهم صاحبها يومئذ القائد إسحاق بن مرزوق السحرتي فيمن معه، فهزم ابن مهدي، وقتل طائفة من أصحابه، فارتفع ابن مهدي إلى الجبال، وذلك في سنة ثمان وثلاثين، وأقام بها إلى سنة إحدى وأربعين، ثم كاتب الحرة علم أم فاتك بن منصور في ذمة له ولمن معه، ففعلت على كره من أهل دولتها وفقهاء عصرها؛ ليقضي الله أمرا كان مفعولا، فعاد إلى وطنه، واستغل أملاكه عدة سنين وهي مطلقة من الخراج حتى اجتمع عنده مال جزيل، وكان يقول في وعظه:(أيها الناس؛ أزف الأمر، ودنا الوقت، كأنكم بما أقول لكم وقد شاهدتموه عيانا)، فلما توفيت الحرة علم في سنة خمس وأربعين .. بايعه أصحابه مرة ثانية على الجهاد بين يديه لأهل المنكر وهم الأحبوش ومن عاضدهم من العرب، وأكثرهم الأشاعر، وأمرهم بقتل من خالفه وإن كان من قومه أو قومهم، فلما انتظمت البيعة له .. قام فيهم خطيبا، فقال في أثناء خطبته:
(والله ما جعل فناء الحبشة إلا بي وبكم، وعما قليل إن شاء الله فسوف تعلمون-والله العظيم رب موسى وهارون ورب إبراهيم-أني عليهم ريح عاد وصيحة ثمود، وأني أحدثكم فلا أكذبكم، وأعدكم فلا أخلفكم، ولئن كنتم أصحبتهم اليوم قليلا .. لتكثرن، وضعفاء ..
لتشرفن، وأذلاء .. لتعزن حتى تصيروا مثلا في العرب والعجم؛ ليجزي الذين أساءوا بما