غير "سنن ابن ماجه" سنة ١٣٣٣ هـ. ثم قرأ "صحيح البخاري"، و"سنن الترمذي" على العالم الجليل، والمربي الكبير خليل أحمد السهارنفوري سنة ١٣٣٤ هـ. ولزم شيخه خليل أحمد الأيوبي الأنصاري، وساعده في تأليف كتابه "بذل المجهود شرح سنن أبي داود"، وصحبه إلى الحجّ، وأجازه إجازة عامة، وخلفه، فآلت إليه بعدهم شيخة الحديث، وصار يلقّب بشيخ المحدّثين، وأقبل عليه الطلاب.
وأبدى شيخه رغبته، فيوضع شرح لـ "سنن أبي داود"، وطلب منه أن يساعده في ذلك، وأن يكون له فيه عضده الأيمن، وقلمه الكاتب، وكان ذلك مبدأ سعادته وإقباله، فكان الشيخ خليل يرشده إلى المظانّ والمصادر، العلمية الى يلتقط منها المواد، فيجمعها الشيخ محمد زكريا، ويعرضها على شيخه، فيأخذ منها ما يشاء، ويترك ما يشاء، ثم يملي عليه الشرح، فيكتبه، وهكذا تكون كتاب "بذل المجهود في شرح سنن أبي داود" في خمسة أجزاء كبار، وفتح ذلك قريحته في التأليف والشرح، ووسع نظره في فنّ الحديث، ثم اهتمّ بطبعه في المطابع الهندية والعناية بتصحيحه وإخراجه. وقد تلقّى علمًا جمًا غزيرًا من فقيه هذه الأمة في عصره، ومحدّثها، وعارفها، وحكيمها، وزعيمها، مولانا الشيخ رشيد أحمد الكنكوهي، رحمه الله، المتوفى سنة ١٣٢٣ هـ. فارتوى، وتضلّع من منابع علمه الصافية فقهًا وحديثًا، كما ارتوى من أكابر مشايخ عصره في بقية العلوم روايتها ودرايتها، منقولها ومعقولها.
رحل إلى "إفريقيا" و"باكستان" للدعوة، ثم جاور في آخر حياته في "المدينة المنوّرة" بمدرسة العلوم الشرعية، وكان حصل على الجنسية السعودية. وطاف أنحاء العالم الإسلامي، وتتلمّذ عليه كثيرون، ثم قدم "المدينة المنوّرة"، واستوطنها إلى أن كانت منيته فيها.