ثلاثة أجزاء: ثلثًا يصلي، وثلثًا يصنف، وثلثًا ينام، وكان مرضه ثلاثة أيام، لا يفتر عن قراءة القرآن.
وسمعت أبا الحسن الشافعي يقول: كان أبو عمرو الخفاف حفظه أكثر من فهمه، وكان لا يقبل ممن يرد عليه غير جعفر الحافظ، فإنه كان يرجع إلى قوله.
وسمعت أحمد بن الخضر: سمعت جعفر بن أحمد يقول: كنا في مجلس محمد بن رافع تحت شجرة يقرأ علينا، وكان إذا رفع أحد صوته، أو تبسم قام ولا يراجع، فوقع ذرق طير على يدي وكتابي، فضحك خادم لأولاد طاهر بن عبد الله الأمير، فنظر إليه ابن رافع، فوضع الكتاب، فانتهى الخبر إلى السلطان، فجاءني الخادم ومعه حمال على ظهره نبت سامان، فقال: والله ما أملك إلَّا هذا، وهو هدية لك، فإن سئلت عني فقل: لا أدري من تبسم. فقلت: أفعل. فلما كان الغد حملت إلى باب السلطان. فبرأت الخادم، ثم بعت السامان بثلاثين دينارًا، واستعنت بذلك على الخروج إلى العراق، فلقبت بالحصري، وما بعت حصرًا ولا آبائي.