حكم ترك الحج فيه خلاف بين أهل العلم، وقد جاء في الزكاة: أن من تركها تهاوناً وكسلاً فإنه لا يكون كافراً، كما في حديث:(ما من صاحب ذهب ولا فضة لم يؤد زكاتها إلا صفحت له يوم القيامة صفائح من النار، فيكوى بها جنبه وظهره في يوم كان مقداره خمسين ألف سنة ثم يرى سبيله إما إلى الجنة وإما إلى النار)، والكافر لا سبيل له إلى الجنة، فإذا كان هذا في الزكاة وهي أعظم أركان الإسلام بعد الصلاة، فيمكن أن يقال: إن تارك الحج يأثم ولا يكفر، ويكون كمن يترك الزكاة تهاوناً من غير جحود.
وقد جاء في أثر عبد الله بن شقيق العقيلي: لم يكن أصحاب رسول الله صلى الله عليه وسلم يرون شيئاً تركه كفر غير الصلاة.
لكن جاء أثر عن عمر وفيه كلام -أنه قال: من أدركه الحج وله سعة فلم يحج فلا عليه أن يموت يهودياً أو نصرانياً.