حدث عن إبراهيم بن يوسف البلخي، وعبد الله بن مالك بن سليمان الهروي، وأحمد بن عبد الله الجويباري، وجماعة. وعنه محمد بن إسماعيل بن إسحاق، وإبراهيم بن محمد بن سفيان، وعبد الله القيراطي، وإبراهيم بن حجاج النسابوريون.
قال الحاكم: ولد بقرية من قرى زرنج بسجستان، ثم دخل خراسان وأكثر الاختلاف إلى أحمد بن حرب الزاهد. سمع التفسير من علي بن إسحاق السمرقندي، عن محمد بن مروان، عن الكلبي. وسمع ببلخ، وهراة، ونيسابور.
قال: وأكثر عن أحمد الجويباري، ومحمد بن تميم الفاريابي. ولو عرفهما لأمسك عن الرواية عنهما. ولما ورد نيسابور بعد المجاورة بمكة خمس سنين وانصرف إلى سجستان، وباع بها ما كان يملكه، وجاء إلى نيسابور، حبسه محمد بن عبد الله بن طاهر، وطالت محنته، فكان يغتسل كل يوم جمعة، ويتأهب للخروج إلى الجامع، ثم يقول للسجان: أتأذن لي في الخروج؟ فيقول: لا. فيقول: اللهم إني بذلت مجهودي، والمنع من غيري.
قال: ولقد بلغني أنه كان معه جماعة من الفقراء، وكان لباسه مسك ضأن مدبوغ غير مخيط، وعلى رأسه قلنسوة بيضاء. وقد نصب له دكان من لبن. وكان يطرح له قطعة فرو فيجلس عليها ويعظ ويذكر ويحدث.
قال: وقد أثنى عليه، فيما بلغني، ابن خزيمة، واجتمع به غير مرة. وكذلك أبو سعيد عبد الرحمن بن الحسين الحاكم، وهما إماما الفريقين.
وحدثني محمد بن حمدون المذكر: قال: حدثنا أبو الفضل محمد بن الحسين الصفار، قال: سمعت ابن كرام الزاهد يقول: خمسة أشياء من حياة القلب: الجوع، وقراءة القرآن، وقيام الليل، والتضرع عند الصبح، ومجالسة الصالحين.
وقال عبد الله بن محمد بن سلم المقدسي: سمعت محمد بن كرام يقول: قدر فرعون أن يؤمن ولكن لم يؤمن.
قلت: هذا كلام يقوله المعتزلي والسني، وكل واحد منهما يقصد به شيئاً.
وعن يحيى بن معاذ الرازي قال: الفقر بساط الزهاد، وابن كرام على بساط الزاهدين.