وأول ما سمعت سنة ستين، ورحلت إلى بغداد سنة سبع وستين، ثم رجعت إلى بيت المقدس، فأحرمت من ثم إلى مكة.
وقال ابن عساكر: كان ابن طاهر له مصنفات كثيرة، إلا أنه كثير الوهم، وله شعر حسن، مع أنه كان لا يحسن النحو، وله كتاب المختلف والمؤتلف.
وقال ابن طاهر في المنثور: رحلت من مصر إلى نيسابور، لأجل أبي القاسم الفضل بن المحب صاحب أبي الحسين الخفاف، فلما دخلت عليه قرأت في أول مجلس جزأين من حديث أبي العباس السراج فلم أجد لذلك حلاوة، واعتقدت أني نلته بغير تعب، لأنه لم يمتنع علي، ولا طالبني بشيء، وكل حديث من الجزأين يسوى رحلة.
وقال: لما قصدت الإسكندرية كان في القافلة من رشيد إليها رجل من أهل الشام، ولم أدر ما قصده في ذلك، فلما كانت الليلة التي كنا في صبيحتها ندخل الإسكندرية رحلنا بالليل، وكان شهر رمضان، فمشيت قدام القافلة، وأخذت في طريق غير الجادة، فلما أصبح الصباح، كنت على غير الطريق بين جبال الرمل، فرأيت شيخًا في مقثأة له، فسألته عن الطريق، فقال: تصعد هذا الرمل، وتنظر البحر وتقصده، فإن الطريق على شاطئ البحر، فصعدت الرمل، ووقعت في قصب الأقلام، وكنت كلما وجدت قلمًا مليحًا اقتلعته، إلى أن اجتمع من ذلك حزمة عظيمة، وحميت الشمس وأنا صائم، وكان الصيف، وتعبت، فأخذت أنتقي الجيد، وأطرح ما سواه، إلى أن بقي معي ثلاثة أقلام لم أر مثلها، طول كل عقدة شبرين وزيادة، فقلت: إن الإنسان لا يموت من حمل هذه، ووصلت إلى القافلة المغرب، فقام إلي ذلك الرجل وأكرمني، فلما كان في بعض الليل رحلت القافلة، فقال لي: إن في هذا البلد مكس، ومعي هذه الفضة، وعليها العشر، فإن قدرت وحملتها معك، لعلها تسلم، فعلت في حقي جميلًا، فقلت: أفعل، قال: فحملتها ووصلت الإسكندرية وسلمت، ودفعتها إليه فقال: تحب أن تكون عندي، فإن المساكن تتعذر، فقلت: أفعل، فلما كان المغرب صليت، ودخلت عليه، فوجدته قد أخذ الثلاثة