وكتب إِلَى إسماعيل بْن جعفر في عزله، فأرسل رسولاً، فَقَالَ لَهُ: إن وجدته جالساً في المسجد، فأحمل القمطر على رأسه، وائتني به فبلغ الأنصاري درو من قوله، فبادر فدخل داره، وأرسل إليه إسماعيل بْن مُحَمَّد بْن حرب، وكان على شرطه، وأمره أن لا يفارقه إِلَّا تكفلاً، فأبى الأنصاري أن يعطيه كفيلاً، فأقام معه حتى ذهب من الليل هوى، ثم انصرف ابن حرب، ووكل به من يحرسه في داره، وأخذ جبلة بْن خالد بْن جبلة وكان على أصحابه مزينة، فانطلق به وطلب ابنه فلم يجده، وطلب صيرفياً، كان خليطاً لابنه، كان يضع المال عنده، فهرب منه، وأرسل إِلَى ثمن لمؤنس بْن عِمْرَانَ، فأخذه وباعه، وأحسبه تصدق بثمنه، فزعم الأنصاري أن سبب غضب إسماعيل عليه، أنه كان يسأله أن يسجل له سجلاً بمقام الوصي المأمون في وقوف جعفر، ومُحَمَّد ابني سليمان فلم يجبه إِلَى ذلك، قال: وغضب علي، أنه ذكر لي أن كتاب وقف أم أبيها بنت جعفر، وكان عرض عليه، وفيه أنها جعلت لاسماعيل بْن مُحَمَّد ستين ألف درهم، وبأكثر منها في كل سنة، ثم شرطت في كتابها أن لها أن تخرج من شاءت ممن سمت، وتدخل من شاءت، ممن لم تسم، إِلَّا إسماعيل بْن جعفر فإنه ليس لها أن تخرجه، ثم أعادت في كتابها هذه الشريطة، فقالت: ولها أن تخرج من شاءت ممن سمت، ولم تستثن إسماعيل، قَالَ: الأنصاري: إنا جعلت ذلك في وقفها لتكون في أمر إسماعيل بالخيار، وأن ذلك من أسباب غضب إسماعيل عليه.
وقَالَ: النوفلي علي بْن مُحَمَّد: لما قربت المبيضة من البصرة، وقرب أمرها كتب الأنصاري إِلَى ابنه كتاباً، فوهمه فِيْهِ أن أمر المبيضة سيتم، وأن عنده في ذلك