العلم ليلاً ونهاراً حتى كان يمشي في الطريق وبيده يطالعه وفي تلك الصيانة والنزاهة التي أعجز بها أولئك المؤذين فلم يعثروا له على عثرة خرج من بغداد في أيام الفتن وقصد دمشق وأقام بها، وكانت إذ ذاك تحت ولاية العبيديين الرافضة الباطنية، ولكن كانوا يتظاهرون بعدم التعرض لعلماء السنة فاستمر الخطيب على إعماله العلمية إلى أن بلغ عمره خمساً وستين سنة، وحينئذ أمر أمير دمشق من جهة العبيديين الرافضة الباطنية بالقبض على الخطيب ونفيه عن دمشق، فأما مؤرخ دمشق الحافظ الثبت ابن عساكر فقال «سعى بالخطيب حسين الدميني إلى أمير الجيوش وقال هو ناصبي يروي فضائل الصحابة والعباس في جامع دمشق» .
فهذا سبب واضح لنفي الخطيب، فإن العبيديين رافضة باطنية يكفرون الصحابة والعباس ويسرفون في بغضهم، ويرون في نشر فضائل الصحابة والعباس على رؤوس الأشهاد بجامع دمشق تحدياً لهم وتنفيراً عنهم ودعوة إلى الخروج عليهم ودعاية لخصومهم بني العباس الذين كانوا ينازعونهم الخلافة ويقاتلونهم عليها.
وأما ابن طاهر وما أدراك ما ابن طاهر؟ فحكى سبباً آخر وقبل أن اشرحه أذكر شيئاً من حال ابن طاهر، يقول ابن الجوزي في ترجمة ابن طاهر من (المنتظم) ج ٩ ص ١٧٨ « ... . فمن أثنى عليه فلأجل حفظه للحديث وإلا فالجرح أولى به، ذكره أبو سعد بن السمعاني وانتصر له بغير حجة بعد أن قال سألت شيخنا إسماعيل بن أحمد الطلحي عن محمد بن طاهر؟ فأساء الثناء عليه وكان سيئ الرأي فيه، وقال سمعت أبا الفضل محمد بن ناصر يقول محمد بن طاهر لا يحتج به صنف كتاباً في جواز النظر إلى المرد وأورد فيه حكاية عن يحيى بن معين قال رأيت جارية بمصر مليحة صلى الله عليها، فقيل له تصلي عليها؟ فقال صلى الله عليها وعلى كل مليح - ثم قال: كان يذهب مذهب الإباحة. قال ابن السمعاني. وذكره أبو عبد الله محمد بن الواحد الدقاق الحافظ فأساء الثناء عليه جداً ونسبة إلى أشياء. ثم انتصر له ابن السمعاني فقال: لعله قد تاب. فوا عجباً ممن سيره قبيحة فيترك الذم لصاحبها لجواز أن يكون قد تاب، ما أبله هذا المنتصر. ويدل على