أما زهده في الدنيا، فقد عرفه كثير ممن عاش معه، أتته الدنيا راغمة إلى باب بيته فأبى، طُلب منه أن يتولى القضاء فامتنع أبداً، وقال: إن تركتموني، وإلا فوالله لأهاجرن إلى مكانٍ لا تجدوني فيه أبداً.
يقول الذهبي وابن كثير: إن دخل الإمام أحمد كان في الشهر سبعة عشر درهماً، قال: هذه تكفينا، يقول أبناؤه: يا أبتاه! لا تكفينا هذه.
قال: أيامٌ قلائل، وطعام دون طعام، ولباس دون لباس، حتى نلقى الله الواحد الأحد.
يقول ابنه عبد الله بسند صحيح إليه:"بقيت حذاء أبي في رجله ثماني عشرة سنة، كلما خرمت خصفها بيده"، وهو إمام الدنيا.
أرسل إليه المتوكل ثمانية أكياس من الذهب والفضة، حملها الوزراء على أكتافهم مع سرية من الجيش بعد المحنة، فردها، وقال: والله لا يدخل بيتي منها درهم ولا دينار.