وكتب الكثير، وعني بالحديث، وأكثر الترحال، لكن تفرقت أجزاؤه بين الكتب، فما كان يتفرغ لإخراجها، كان مشغولًا بالعبادة، من أولياء الله.
قال أبو سعد السمعاني: هو الإمام، الورع، التقي، الناسك، العامل بعلمه، والقائم بحقه، صاحب الأحوال والمقامات، انتهت إليه تربية المريدين الصادقين، واجتمع في رباطه جماعة من المنقطعين إلى الله ما لا يتصور أن يكون في غيره من الربط مثلهم، وكان عمره على طريقة مرضية، وسداد واستقامة، سار من قريته إلى بغداد، وقصد الشيخ أبا إسحاق، فتفقه عليه، ولازمه مدة، حتى برع، وفاق أقرانه، خصوصًا في علم النظر، وكان أبو إسحاق يقدمه على عدة مع صغر سنه، لعلمه بحسن سيرته وزهده، ثم ترك كل ما كان فيه من المناظرة، واشتغل بالعبادة، ودعوة الخلق وإرشاد الأصحاب، أخرج لنا أكثر من عشرين جزءًا سمعناها، وقد قدم بغداد في سنة ست وخمس مائة، وظهر له قبول تام، ووعظ، وازدحموا عليه، ثم رجع، وسكن مرو، ثم سار إلى هراة، وأقام بها مدةً، ثم رجع إلى مرو، ثم سار إلى هراة ثانيًا، فتوفي في الطريق بقرب بغشور، سمعت صافي بن عبد الله الصوفي يقول: حضرت مجلس يوسف في النظامية، فقام ابن السقاء، فآذى الشيخ، وسأله عن مسألة، فقال: اجلس، إني أجد من كلامك رائحة الكفر، ولعلك تموت على غير الإسلام. فاتفق أن ابن السقاء ذهب في صحبة رسول طاغية الروم، وتنصر بقسطنطينية، وسمعت من أثق به: أن ابني أبي بكر الشاشي قاما في مجلس وعظه، وقالا له: إن كنت تنتحل مذهب الأشعري، وإلا فانزل. فقال: اقعدا، لا متعتما بشبابكما. فسمعت جماعةً أنهما ماتا قبل أن يتكهلا. وسمعت السيد إسماعيل بن عوض العلوي، سمعت يوسف بن أيوب يقول للفصيح -وكان من أصحابه، فخرج عليه، ورماه بأشياء-: هذا الرجل يقتل، وسترون ذلك. فكان كما جرى على لسانه. وقال جدي أبو المظفر السمعاني: ما قدم علينا من العراق مثل يوسف الهمذاني، وقد تكلم معه في مسألة البيع الفاسد، فجرى بينهما سبعة عشر مجلسًا في المسألة …
إلى أن قال أبو سعد: سمعت يوسف الإمام يقول: خلوت نوبًا عدةً، كل نوبة أكثر من خمس سنين وأقل، وما كان يخرج حب المناظرة والخلاف من قلبي، إلى أن وصلت إلى فلان السمناني، فلما رأيته، خرج جميع ذلك من قلبي، كانت المناظرة تقطع علي الطريق.
سئل أبو الحسين المقدسي: هل رأيت وليًا لله? قال: رأيت في سياحتي أعجميًا بمرو يعظ، ويدعو إلى الله، يقال له: يوسف.
قال أبو سعد: ولما عزمت على الرحلة، دخلت على شيخنا يوسف مودعًا، فصوب عزمي، وقال: أوصيك: لا تدخل على السلاطين، وأبصر ما تأكل لا يكون حرامًا.