ولد سنة تسع وتسعين ومائة. وسمع من محمد بن عبد الله الأنصاري، وعبد الله بن رجاء، ومسلم بن إبراهيم، والقعنبي، وحجاج بن منهال، ومسدد بن مسرهد، وإسماعيل بن أبي أويس، وقالون المقرئ، وخلق. وتفقه علي أحمد بن المعدل الفقيه، وأخذ العلل وصناعة الحديث عن علي ابن المديني، وبرع في هذين العلمين.
روى عنه أبو القاسم البغوي، وإسماعيل الصفار، وأبو بكر النجاد، وأبو بكر الشافعي، والحسن بن محمد بن كيسان، وأبو بحر محمد بن الحسن بن كوثر البربهاري، وطائفة سواهم.
ومن جلالته أن النسائي روى في كتاب الكنى عن رجل، عنه، فقال: حدثنا إبراهيم بن موسى، قال: حدثنا إسماعيل بن إسحاق، قال: حدثنا علي ابن المديني، فذكر كنيته.
قال أبو سهل القطان: حدثنا يوسف بن يعقوب القاضي، قال: خرج توقيع أمير المؤمنين المعتضد إلى وزيره: استوص بالشيخين الخيرين الفاضلين: إسماعيل بن إسحاق، وموسى بن إسحاق، فإنهما ممن إذا أراد الله بأهل الأرض عذابًا صرف عنهم بدعائهما.
وتفقه عليه خلق.
قال الخطيب: كان عالمًا متقنًا فقيهًا على مذهب مالك، شرح المذهب واحتج له، وصنف المسند، وصنف في علوم القرآن، وجمع حديث أيوب، وحديث مالك.
قلت: وصنف موطأ، وصنف كتابًا في الرد على محمد بن الحسن نحو مائتي جزء لم يتم.
قال الخطيب: واستوطن بغداد، وولي قضاءها إلى أن توفي، وتقدم حتى صار علمًا، ونشر مذهب مالك بالعراق ما لم يكن في وقت من الأوقات. وله كتاب أحكام القرآن لم يسبق إلى مثله، وكتاب معاني القرآن وكتاب القراءآت.