قال أبو عبيد الله بن رشيد. وذكر لي بعض تلامذته أن سبب شهرته بالقرافي أنه لما أراد أن يثبت اسمه في بيت الدرس كان حينئذ غائبا فلم يعرف اسمه، وكان إذا جاء للدرس يقبل من جهة القرافة، فكتب القرافي، فجرت عليه هذه النسبة.
وتوفي رحمه الله بدير الطين في جمادى الآخرة عام أربعة وثمانين وستمائة ودفن بالقرافة.
وكان القرافي رحمه الله كثيرا ما يتمثل بهذين البيتين:
وإذا جلست الى الرجال وأشرقت ... في جو باطنك العلوم الشرد