فلما راهق حج مع أخيه الحسين، وأقاما بالكوفة لطلب العلم، وببغداد والبصرة، ثم قدم، فأقبل على العبادة لا يفتر، وأخذ في المواعظ والذكر، وحث على العبادة، وأقبل الناس على مجلسه، وألف كتاب الأربعين، وكتاب عيال الله، وكتاب الزهد وكتاب الدعاء. وكتاب الحكمة، وكتاب المناسك، وكتاب التكسب. ورغب الناس في سماعها، فلما ماتت أمه سنة عشرين ومائتين عاد إلى الحج والغزو، وخرج إلى الترك، وفتح فتحا عظيما، فحسده عليه أصحاب الرباط، وسعوا فيه إلى عبد الله بن طاهر. فأدخل عليه، فلم يأذن له في الجلوس وقال: تخرج وتجمع إلى نفسك هذا الجمع، وتخالف أعوان السلطان. ثم علم ابن طاهر صدقه فتركه، فخرج إلى مكة وجاور.
وعن أحمد بن حرب قال: قال ابن المبارك: أربعة، منها ثلاثة مجاز، وواحد حقيقة: عمرنا في الدنيا، ومكثنا في القبور، ووقوفنا في الحشر، ومنصرفنا إلى الأبد، فهو الحقيقة، وما قبله مجاز. وأحمد بن حرب تنتحله الكرامية وتخضع له؛ لأنه شيخ ابن كرام.
وعن يحيى بن يحيى النيسابوري، قال: إن لم يكن أحمد بن حرب من الأبدال فلا أدري من هم.
وقال محمد بن الفضل البخاري: سمعت نصر بن محمود البلخي يقول: قال أحمد بن حرب: عبدت الله خمسين سنة، فما وجدت حلاوة العبادة حتى تركت ثلاثة أشياء: تركت رضا الناس حتى قدرت أن أتكلم بالحق. وتركت صحبة الفاسقين حتى وجدت صحبة الصالحين. وتركت حلاوة الدنيا حتى وجدت حلاوة الأخرى.
وقال محمد بن عبد الله بن موسى السعدي: كنا في مجلس أحمد بن حرب لما قدم بخارى، فاجتمع عليه العامة من أهل المدينة والقرى، فقالوا كلهم: يا أبا عبد الله، ادع الله لنا، فإن زرعنا وأرضنا لم تنبت منذ عامين، أو قال: عام. فرفع يديه ودعا، فما فرغ حتى طلعت سحابة - وكانت الشمس طالعة - فمطرنا مطرا لم نر مثله، فجئنا مشمرين أثوابنا من شدة المطر، حتى نبتت الزروع.