فقال: ما هذا؟ فقالوا: اشتغلوا بتعلم شيء، ولا يغرنكم كلام الصوفية فإني كنت أخبئ محبرتي في جيب مرقعتي، والكاغد في حجزة سراويلي، وكنت أذهب خفياً إلى أهل العلم، فإذا علموا بي خاصموني، وقالوا: لا يفلح. ثم احتاجوا إلي بعد ذلك.
قال ابن خفيف وهو يعظ أصحابه: كنت في بدايتي ربما كنت أقرأ في ركعة واحدة عشرة آلاف مرة " قل هو الله أحد " وربما كنت أقرأ في ركعة واحدة القرآن كله، وربما كنت أصلي من الغداة إلى العصر ألف ركعة.
قال بعض المشايخ: كان بالشيخ قديماً وجع الخاصرة، فكان إذا أخذه أقعده عن الحركة، فكان إذا أقيمت الصلاة، يحمل على الظهر إلى المسجد ليصلي. فقيل له في ذلك: لو خففت على نفسك لكان لك سعة في العلم. فقال: إذا سمعتم حي على الصلاة ولا تروني في الصف، فاطلبوني في المقابر! قال أبو أحمد الصغير: أمرني أبو عبد الله بن خفيف أن أقدم إليه كل ليلة عشر حبات زبيب لإفطاره. فليلة أشفقت عليه، فحملت خمس عشرة حبة، فنظر إلي وقال: من أمرك بهذا؟ فأكل عشر حبات، وترك الباقي.
وقال أبو أحمد الكبير: كان أبو عبد الله إذا أراد أن يخرج إلى صلاة الجمعة يقول لي: هات ما عندنا، فأحمل ما قد فتح من الذهب والفضة وغيره، فيفرقه كله، ثم يخرج إلى صلاة الجمعة. وكان كل سنة في أوان يخرج جميع ما عنده من الثياب حتى لا يبقي لنفسه ما يخرج به إلى برا.