قال السلمي: قال أحمد بن يحيى الشيرازي: ما أرى التصوف إلا يختم بأبي عبد الله بن خفيف. وكان ابن خفيف من أولاد الأمراء، فتزهد حتى قال: كنت أذهب وأجمع الخرق من المزابل، وأغسله، وأصلح منه ما ألبسه، وبقيت أربعين شهراً أفطر كل ليلة على كف باقلاء، فافتصدت، فخرج من عرقي شبيه ماء اللحم فغشي علي، فتحير الفصاد، وقال: ما رأيت جسداً بلا دم إلا هذا.
وقال ابن باكويه: سمعت أبا أحمد الكبير يقول: سمعت أبا عبد الله بن خفيف يقول: نهبت في البادية وجعت حتى سقطت لي ثمانية أسنان، وانتثر شعري، ثم وقعت إلى فيد وأقمت بها، حتى تماثلت وحججت، ثم مضيت إلى بيت المقدس، ودخلت الشام، فنمت إلى جانب دكان صباغ، وبات معي في المسجد رجل به قيام، فكان يخرج ويدخل إلى الصباح، فلما أصبحنا، صاح الناس وقالوا: نقب دكان الصباغ وسرقت، فدخلوا المسجد ورأونا، فقال المبطون: لا أدري، غير أن هذا طول الليل كان يدخل ويخرج، وما كنت خرجت أنا إلا مرة، تطهرت، فجروني وضربوني، وقالوا: تكلم. فاعتقدت التسليم، فكانوا يغتاظون من سكوتي، فحملوني إلى دكان الصباغ، وكان أثر رجل اللص في الرماد، فقالوا: ضع رجلك فيه، فوضعت، فكان على قدر رجلي، فزادهم غيظاً، وجاء الأمير، ونصبت القدر وفيها الزيت يغلي، وأحضرت السكين ومن يقطع اليد، فرجعت إلى نفسي وإذا هي ساكنة، فقلت: إن أرادوا قطع يدي سألتهم يعفوا يميني لأكتب بها، فبقي الأمير يهددني ويصول، فنظرت إليه فعرفته، وكان مملوكاً لوالدي، فكلمني بالعربية وكلمته بالفارسية، فنظر إلي وقال: أبو الحسين، وكنت أكنى بها في صباي، فضحكت، فعرفني، فأخذ يلطم رأسه ووجهه، واشتغل الناس به، فإذا بضجة عظيمة، وأن اللصوص قد مسكوا، فذهبت والناس ورائي، وأنا ملطخ بالدماء جائع لي أيام لم آكل، فرأتني عجوز فقيرة، فقالت: ادخل إلينا، فدخلت ولم يرني الناس، وغسلت وجهي ويدي، فإذا الأمير قد أقبل يطلبني. فدخل ومعه جماعة، وجر من منطقته سكيناً، وحلف بالله، وقال: إن أمسكني إنسان لأقتلن نفسي، وضرب بيده رأسه ووجهه مائة صفعة، حتى منعته أنا، ثم اعتذر، وجهد بي أن أقبل شيئاً، فأبيت، وهربت ليومي من المدينة، فحدثت بعض المشايخ فقال: هذا عقوبة انفرادك، فما دخلت بلداً فيه فقراء إلا قصدتهم.