العساكر هو واخوته لمدافعة الدَّعِيَّ بن أبي عمارة، وهو يشبَّه بالفضل ابن المخلوع، حتى إذا استلحموا بمَرَّمَاجَنَّة خلص جَدُّنا محمد مع أبي حفص بن الأمير أبي زكرياء من الملحمة، ومعهما الفَازَازي وأبو الحسين بن سيد الناس، فلحقوا بمنجاتهم من قلعة سنان. وكان الفازازي من صنائع المولى أبي حفص، وكان يؤثره عليهم. فأما أبو الحُسين بن سيد الناس فاستنكف من إيثار الفازازي عليه، بما كان أعلى رتبة منه ببلده إشبيلية، ولحق بالمولى أبي زكرياء الأوسط بِتِلمْسان، وكان من شأنه ما ذكرناه. وأما محمد بن خلدون فأقام مع الأمير أبي حفص، وسكن لإيثار الفازازي. ولما استولى أبو حفص على الأمر رعى له سابقته، وأقطعه، ونظمه في جملة القواد ومراتب أهل الحروب، واستكفى به في الكثير من أهل ملكه، ورشحه لحجابته من بعد الفازازي. وهلك، فكان من بعده حافدُ أخيه المستنصر أبو عصيدة، واصطفى لحجابته محمد بن إبراهيم الدَّبَّاغ كاتب الفازازي، وجعل محمد بن خلدون رديفاً في حجابته. فكان كذلك إلى أن هلك السلطان، وجاءت دولة الأمير خالد، فأبقاه على حاله من التجِلَّة والكرامة، ولم يستعمله ولا عقد له، إلى أن كانت دولة أبي يحيى بن اللحياني، فاصطنعه، واستكفى به عندما نَبضَت عروق التغلب للعرب؛ ودفعه إلى حماية الجزيرة من دلاج، أحد بطون سُلَيم الموطنين بنواحيها، فكانت له في ذلك آثار مذكورة. ولما انقرضت دولة ابن اللحياني خرج إلى المشرق، وقضى فرضه سنة ثمان عشرة، وأظهر التوبة والإقلاع، وعاود الحج متَنَفِّلا سنة ثلاث وعشرين، ولزم كِسْر بيته. وأبقى السلطان أبو يحيى عليه نعمته في كثير مما كان بيده من الإقطاع والجراية، ودعاه إلى حجَابَته مراراً، فامتنع.
أخبرني محمد بن منصور بن مَزْنَى، قال: لما هلك الحاجب محمد بن عبد العزيز الكردي المعروف بالمِزْوَار، سنة سبع وعشرين وسبعمائة، استدعى السلطان