هذه النسبة اختلفوا فيها، منهم من قال: منسوبة إلى لبس " الصوف " ومنهم من قال:
من " الصفا " ومنهم من قال: من بني " صوفة " وهم جماعة من العرب كانوا يتزهدون ويتقللون من الدنيا، فنسبت هذه الطائفة إليهم، واشتهر بهذه النسبة جماعة من الأكابر، وصنفوا فيهم التصانيف، ومن المحدثين الذين اشتهروا بهذه النسبة:
أبو عبد الله أحمد بن الحسن بن عبد الجبار بن راشد الصوفي، من أهل بغداد، وكان من الثقات المكثرين، له رحلة في طلب الحديث، سمع علي بن الجعد، وأبا نصر التمار، ويحيى بن معين، وإبراهيم بن زياد سبلان ومحمد بن يوسف الغضيضي، وأبا الربيع الزهراني، وأحمد بن جناب المصيصي، وسويد بن سعيد الحدثاني، وأبا خيثمة زهير بن حرب، وجماعة سواهم من شيوخ البخاري ومسلم. روى عنه أبو سهل بن زياد القطان، وأبو بكر بن الجعابي، والحسن بن أحمد السبيعي، وأبو حفص بن الزيات، ومحمد بن المظفر الحافظ، وأبو بكر أحمد بن إبراهيم الإسماعيلي، وأبو أحمد عبد الله بن عدي الحافظ، وأبو القاسم سليمان بن أحمد بن أيوب الطبراني، وأبو بكر محمد بن إبراهيم بن المقرئ، وأبو أحمد محمد بن أحمد الغطريفي، وأبو حاتم محمد بن حبان البستي وغيرهم.
واختلف عليه في حديث سويد، عن مالك، عن الزهري، عن أنس، عن أبي بكر:
أن النبي ﵌ أهدى جملاً لأبي جهل. رواه الصوفي عن سويد، والحمل فيه على سويد، لأن يحيى بن معين قال: لو أن عندي فرساً خرجت أغزوه، يعني سويداً، ورواه عن سويد غير الصوفي مثل يعقوب بن يوسف الأخرم النيسابوري والد أبي عبد الله الحافظ، وروى هذا الحديث ابنه - يعني أبا عبد الله بن الأخرم - عن أبيه، عن سويد، ورواه عن سويد: محمد بن عبده بن حرب، على أنه متروك، والتعويل على رواية يعقوب في متابعة الصوفي وثقة أبو الحسن الدارقطني، وكانت وفاته في رجب سنة ست وثلاثمائة ببغداد.
وأبو الحسن أحمد بن الحسين بن إسحاق بن هرمز بن معاذ البغدادي، المعروف بالصوفي الصغير، وأبو الحسن أحمد بن الحسن الصوفي، يعرف بالكبير، وهذا بالصغير.
من أهل بغداد سمع أبا إبراهيم الترجماني، ومحمد بن موسى الحرشي، وعبد الله بن عمر بن أبان الجعفي، وعبيد الله بن يوسف الجبيري، ونحوهم. روى عنه أبو بكر محمد بن عبد الله