عشرة سنة، وكثر الشهود في أيامه، واستقام أمره، إِلى أَن وقع بينه وبين عَلِي بن متويه، وكان صديقه طول أيامه، فاتفق أنَّه صار إِلى عَلِي بن متّويه قوم من المرابطين، فشكو إِليه خرابات الرِّباطات، وتأخر الأجر عنهم، فاحتدَّ على بن مَتَّويه، فذكر ابن أبي عاصم حتى قال: إِنه لا يحسن يُقَوّم سورة "الحمد"، فبلغ الخبر ابن أبي عاصم، فَتَغافَل عَلِيه إِلى أَن حصر الشهود عنده، فاستدرجَهَم، وقرأ عَلِيه سورة "الحمد"، فَقَوَّمها، ثم ذكر ما فيه من التفسير والمعاني، ثم أقبل عَلِيهم، فقال: هل ارتضيْتُم قراءتي لها، وتقويمي إِياها؟ قالوا: بلى، قال: فمن زعم أني لا أحسن تقويم سورة "الحمد" كيف هو عندكم؟ قالوا: كذّاب، ولم يعرفوا قَصْدَه، فَحَجَر ابن أبي عاصم على عَلِي بن مَتَّويه بهذا السَّبَب، فهاج الناس، واجتمعو على باب أبي ليلى -يعني الحارث بن عَبْد العزيز-، وكان خَلِيْفَة أخيه عُمَر بن عَبْد العزيز على البلد، وذلك في سنة إِحدى وثمانين ومائتين، فأكرهَه أبو ليلى على فَسْخه، فَفَسَخه ثم ضعُفَ بَصَرُه، فَوَرَد صرفُه".
وقال أبو بَكْر بن أبي عَلِي: "سمعت بعض مشايخنا يحكون أنَّه حكم بَحَجْرِه وَوَضْعِه في جُوْنَتِه، فأنفذ إِليه السلطان، يُكرُهونه على فسخه، فامتَنَع حتى مُنع من الخروج إِلى المسجد أيامًا، فَصَبَر، وكانت الرُّسُل تَختَلِفُ إِليه في ذلك، فيقول: قد حكمتُ بحكم وهو في جُوْنتي مَخْتوم، فمن أحبَّ إِخراج ذلك منها فَلْيَفْعَل من دون أمري، فلم يَقْدروا إِلى أَن طُيِّب قلبُه، فأخرَجَه وفسخه".
وقال أبو مُوْسى المَدِيْنِيّ: "جمع بين العلم والفهم، والحفظ، والزهد، والعِبادة، والفقه، من أهل البصرة، قدم أَصْبَهان، وصحب جماعة من النُّسّاك، منهم: أبو تراب النَّخْشَبِي، وسافر معه، وقد عُمِّر، وكان فقيهًا ظاهري المذهب، إِذا سئل عن مسألة الصُّوافية، يقول: القضاء والدنية والكلام في علم الصُّوافية محال، ووجدت بخط بعض قدماء علماء أَصْبَهان، فيما جمع من قضاتها، قال: إِبْراهِيم بن أَحْمَد