قال أبو موسى المدينى: أخبرنا هبة الله الأبرقوهي عمّن ذكره: أن والد أبي عبد الله بن منده رحل إلى أبي يعلى، وقال له:"إنما رحلت إليك لإجماع أهل العصر على ثقتك وإتقانك".
وقال أبو عبد الرحمن السلمى:"سألت الدارقطني عن أبي يعلى، فقال: ثقة مأمون".
قال يزيد بن محمد الأزدي في "تاريخ الموصل": "ومنهم أبو يعلى التميمي"، فذكر نسبه وكبار شيوخه، وقال:"كان من أهل الصدق والأمانة، والدين والحلم".
إلى أن قال:"وهو كثير الحديث، صنف المسند وكُتُبًا في الزهد، والرقائق، وخرّج الفوائد، وكان عاقلًا، حليمًا صبورًا، حسن الأدب، سمعته يقول: سمعت ابن قدامة: سمعت سفيان يقول: ما تمتع مُتمتع بمثل ذكر الله، قال داود عليه السلام: ما أحلى ذكر الله في أفواه المتعبدين! ".
قال الذهبي: وقد بلغنا عن أبي عمرو بن حمدان: أنه كان يفضل أبا يعلى الموصلي على الحسن بن سفيان، فقيل له: كيف تفضِّله و "مسند الحسن" أكبر، وشيوخه أعلى؟! قال: لأن أبا يعلى كان يحدث احتسابًا، والحسن بن سفيان كان يحدث اكتسابًا".
وقد وثّق أبا يعلى: أبو حاتم البستي وغيره، قال ابن حبان: "هو من المتقنين المواظبين على رعاية الدين وأسباب الطاعة".
وقال ابن عدي: "ما سمعت "مسندًا" على الوجه إلا مسند أبي يعلى؛، لأنه كان يحدِّث للَّه عز وجل".
قال ابن المقرئ: "سمعت أبا إسحاق بن حمزة يثنى على "مسند أبي يعلى" ويقول: "من كتبه قلّ ما يفوته من الحديث".
وقال الحافظ عبد الغنى الأزدي:"أبو يعلى أحد الثقات الأثبات، كان على رأى أبي حنيفة".