مات في غرة رجب سنة ثمان عشرة ومئتين، فاخرج ليدفن فشهده قوم كثير من أهل بغداد، رحمه الله تعالى.
قال أبو زرعة: سمعت محمد بن عثمان التنوخي يقول، وقد جئنا إليه: من أين جئتم؟ فقلنا: من عند أبي مسهر قال: تركتم أبا مسهر وجئتموني، ما بالشام مثل أبي مسهر.
وقال يحيى بن معين: ما رأيت منذ خرجت من بلادي أحداً أشبه بالمشيخة الذين أدركتهم من ابي مسهر، والذي يحدث وفي البلاد أولى بالتحديث منه فهو أحمق.
قال إسحاق بن إبراهيم: لما صار المأمون إلى دمشق ذكروا له أبا مسهر الدمشقي، ووصفوه بالعلم والفقه، فوجه من جاءه به. فلما دخل إليه قال: ما تقول في القرآن؟ قال: كما قال الله عز وجل " وإن أحد من المشركين استجارك فأجره حتى يسمع كلام الله " قال: أمخلوق أوغير مخلوق؟ قال: ما يقول أمير المؤمنين؟ قال: يقول أمير المؤمنين: إنه مخلوق، قال: يخبر عن رسول الله أو عن الصحابة أو عن التابعين أو عن أحد من الفقهاء؟ قال: بالنظر، واحتج عليه، قال له: يا أمير المؤمنين، نحن مع الجمهور الأعظم أقول بقولهم، والقرآنكلام الله غير مخلوق، قال: يا شيخ، أخبرني عن النبي صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ هل اختتن؟ قال: لا أدري، وما سمعت في هذا شيئاً، قال: فأخبرني عنه صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ أكان يشهد إذا تزوج أو زوج؟ قال: ولا أدري. قال اخرج قبحك الله، وقبح من قلدك دينه، وجعلك قدوة.
خرج السفياني المعروف بأبي العميطر وهو علي بن عبد الله بن خالد بن يزيد بن معاوية، وأمه نفيسة بنة عبيد الله بن العباس بن علي بن أبي طالب، فولى القضاء بدمشق عبد الأعلى بن مسهر الغساني كرهاً، ثم تنحى أبو مسهر عن القضاء لما خلع على بن عبد الله، فلم يل القضاء أحد بدمشق بعد ذلك حتى قدم المأمون.