نزل بغداد، وكان له حلقة يتكلم فيها، وكان قد صحب أبا حمزة محمد بن إبراهيم الصوفي وغيره، وصحبه الجنيد بن محمد، وأبو العباس بن عطاء، وأبو محمد الجريري، وأبو بكر الشبلي، وعمر عمرا طويلا حتى لقيه أحمد بن عطاء الروذباري. وللصوفية عنه حكايات غريبة، وأمور مستظرفة عجيبة. وذكر فارس البغدادي أن اسمه محمد بن إسماعيل ولقبه خير، وقد ذكرنا ذلك في باب المحمدين.
أخبرنا أبو علي عبد الرحمن بن محمد بن أحمد بن محمد بن فضالة النيسابوري بالري، قال: أخبرنا محمد بن عبد الله بن شاذان الرازي بنيسابور، قال: سمعت أبا الحسن خير النساج يقول: إذا أحبك دللك وعافاك، وإذا أحببته أتعبك وأبلاك.
أخبرنا أبو القاسم عبد الكريم بن هوازن القشيري قال: خير النساج قيل كان اسمه محمد بن إسماعيل، وإنما سمي خير النساج؛ لأنه خرج إلى الحج، فأخذه رجل على باب الكوفة، وقال: أنت عبدي واسمك خير، وكان أسود، فلم يخالفه، فاستعمله الرجل في نسج الخز، فكان يقول: يا خير، فيقول: لبيك. ثم قال الرجل له بعد سنين: غلطت لا أنت عبدي ولا اسمك خير. فمضى وقال: لا أغير اسما سماني به رجل مسلم. حكيت هذه الحكاية عن جعفر الخلدي عن خير على وجه طريف، وسياقة طويلة عجيبة.
أخبرنا أبو نعيم الحافظ، قال: أخبرنا جعفر الخلدي في كتابه قال: سألت خيرا النساج: أكان النسج حرفتك؟ قال: لا، قلت: فمن أين سميت