نفسه ثم يعاد إليه دون رغبته، إلى أن أخلص في الإقلاع عنه عقب صرفه في جمادي الثانية سنة ٨٥٢ هـ.
رحلاته:
١ - الرحلة الأولى: وكانت إلى مكة في سنة ٧٨٥ هـ وعمره ١٢ سنة. مع وصيه الخروبي إلى مكة وجاور بها. وسمع صحيح البخاري على العفيف النشاوري. وصلى في المسجد الحرام صلاة التراويح إماما بالمسلمين وكان ذلك دليلا على نبوغه المبكر وأهليته على الصدارة في كل موطن وهو لا يزال صبيا وعاد في سنة ٧٨٦ هـ.
١ - الرحلة الثانية: وكانت إلى صعيد مصر في سنة ٧٩٣ هـ فرحل إلى قوص وغيرها وسمع من علمائها.
٢ - الرحلة الثالثة: كانت إلى الإسكندرية في سنة ٧٩٧ هـ وكان عمره وقتها ٢٤ سنة فالتقى بجماعة من المحدثين والمسندين مثل شمس الدين الجزري، وابن الفراط. ومكث بها عدة أشهر ثم قفل عائدا.
٣ - الرحلة الرابعة: في سنة ٧٩٩ هـ. وكان عمره ٢٦ سنة رحل إلى اليمن وهي خرجته الأولى لها وفي طريقه إليها التقى بالرضي الزبيدي، والصلاح الأقفهسي، والنجم المرجاني فسمع منهم. وفي اليمن دعاه الملك الأشرف إسماعيل بن عباس. وأحسن إليه وأكرمه. وتنقل بين مدن اليمن فسمع من علمائها مثل ابن الخياط الشافعي. ففي زبيد التقى بكل من ابن عبد الصمد الجيرتي، وأحمد بن أبي بكر الناشري، والشريف ابن المقرئ. وفي عدن لقي الرضي بن المستأذن فسمع ابن حجر منه وأسمعه.
٤ - الرحلة الخامسة: رجع فيها من اليمن إلى مكة للمرة الثانية ليحج حجة الإسلام. وكان ذلك في سنة ٨٠٠ هـ. وكان عمره ٢٧ سنة.
٥ - الرحلة السادسة: وكانت في سنة ٨٠٢ هـ. وقد أتم ٣٠ سنة. فقصد بلاد الشام والتقى هناك بعلمائها ومسنديها فأخذ عنهم. ومكث بدمشق مائة يوم سمع فيها نحو ألف جزء حديثي. كما دخل حماه وحمص وحلب.