مختلف فيه: وثقه أحمد وقال: ما أحسن حديثه، وقال: روى عن أسماء أحاديث حساناً، وقال: أنا أحتمله وأروي عنه من يصبر عن تيك الأحاديث التي عنده، وقال أبو زرعة: لابأس به، وقال البخاري: حسن الحديث. وقوَّى أمره، وقال إنما تكلم فيه ابن عون، وكان ابن مهدي يحدث عنه، ووثقه العجلي، والفسوي، ويعقوب بن شيبة، وكان ابن المديني يحدث عنه ويقول: أنا لا أدع حديث الرجل إلا أن يجتمعا ـ يحيى وعبدالرحمن ـ على تركه.
وضعفه كثيرون: تركه شعبة، وكان يحيى القطان لا يحدث عنه، وقال ابن عون: نزكوه أي طعنوا فيه، وفي لفظ: تركوه، قال ابن حماد: شهر أحاديثه لا تشبه أحاديث الناس، وقال ابن سعد: كان ضعيفاً في الحديث، وقال الساجي: فيه ضعف وليس بالحافظ، وقال ابن معين: ليس بالقوي في الحديث وهو ممن لا يحتج بحديثه ولا يتدين به، وفي رواية: ثبت، وفي رواية: ثقة، وفي الثالثة: ليس به بأس، وقال أبو حاتم: لايحتج بحديثه، وذكر ابنه في العلل وصفه بسوء الحفظ، وقال الدارقطني: يخرج من حديثه ما روى عبدالحميد بن بهرام، وقال: ضعيف ليس بالقوي، وقال ابن خزيمة: ابرأ إلى الله من شهر بن حوشب، وقال النسائي: ليس بالقوي، وقال ابن عدي: ضعيف جداً، وعامة ما يرويه فيه من الإنكار ما فيه. وقال ابن حبان: كان ممن يروي عن الثقات المعضلات، وعن الأثبات المقلوبات، وقال الجوزجاني: أحاديثه لاتشبه حديث الناس، ولا ينبغي أن يغتر به وبروايته.
كان كثير الإرسال: فروايته عن بلال، وعن معاذ، وتميم الداري، وأبي ذر، وسلمان، وعن كعب الأحبار، وعبدالله بن سلام مرسلة، ولم يسمع من أبي الدرداء سمع من أم الدرداء عنه، وقال ابن جرير: لانعلم له سماعاً يصح عن أم سلمة. الذي أخذ عليه شعبة الحديث الذي رحل من أجله، وقال الفسوي: هو مروي من طرق صالحة، وقال أحمد: روى شعبة عن معاوية ابن قرة عنه، وقال أبو داود: إنما طعنوا فيه؛ لأنه ولي أمر السلطان، واتُهم بسرقة دراهم من بيت المال، فقال الذهبي: إسناد القصة منقطع ولعلها وقعت وتاب منها، أو أخذها متأولاً أن له في بيت المال حقاً. وقال صالح بن محمد: قدم العراق روى عنه الناس ولم يوقف منه على كذب، روى أحاديث ينفرد بها لم يشاركه فيها أحد، وروى عنه عبدالحميد بن بهرام أحاديث طوالاً عجائب ويروي عن النبي صلى الله عليه وسلم أحاديث في القراءت لا يأتي بها غيره. ودافع ابن القطان عن شهر فقال: لا أعرف لمضعفه حجة، أما ما ذكروه عنه من تزييه بزي الجند وسماعه الغناء بالآلات وأخذه الخريطة من المغنم فهو إما أنه لا يصح عنه، وإما أنه خارج على مخرج لايضره، وخبر الخريطة إنما هو لقول شاعر كذب عليه. وقال: شر ما قيل فيه أنه يروي منكرات عن ثقات وهذا إذا كثر منه سقطت، وقال الذهبي في السّيَر: الرجل غير مدفوع عن صدق وعلم والاحتجاج به مترجح، وقال في المغني: تابعي مشهور.