سبب خروجه من بغداد قصة جرّت له الكلام مع الشافعي. فخاف على نفسه، وطلب. فخرج فاراً عنها. قال الشيرازي رحمه الله: وأنشد أبو محمد في خروجه من بغداد:
سلام على بغداد في كل موطن ... وحُقَّ لها مني السلام المضاعف
لعمرك ما فارقتها عن ملالة ... وإني بشطي جانبيها لعارف
ولكنها ضاقت عليّ برحبها ... ولم تكن الأرزاق فيها تساعف
فكانت كخل كنت أهوى دنوه ... وأخلاقه تنأى به وتجانف
وقرأت في بعض الأخبار، أن الشعر ليس من قوله. وأن القاضي أبا محمد قال: وجدت مكتوباً على سارية بحران، فذكر الشعر، وأكثر الناس يروونه له. فالله أعلم. ويروى له أيضاً في مثله:
بغداد دار لأهل المال واسعة ... وللصعاليك دار الضنك والضيق
أصبحت فيها مضاعاً بين أظهرهم ... كأنني مصحف في بيت زنديق