وفي عام ١٩٦١م تشكلت أول جمعية للطلبة المسلمين، وضمت الطلاب القادمين من مختلف البلدان الإسلامية للدراسة في اليابان، وقد كونت جمعية الطلبة المسلمين وجمعية مسلمي اليابان أول مجلس مشترك للدعوة في اليابان: هو المجلس الإسلامي المشترك الذي ضمّ ممثلين من جمعية مسلمي اليابان وجمعية الطلبة المسلمين، وظل جهاز الدعوة يخطط لنشر الإسلام في اليابان حتى عام ١٩٦٦م؛ فنشر رسائل عديدة عن الإسلام، وأصدر جريدة إسلامية وقام بالدعوة، ونظم دروسا تربوية عملية للشباب المسلم الياباني وغير الياباني، وابتعث العديد من الشباب الياباني للدراسة في البلاد الإسلامية، وفي أوائل ١٩٦٦م طور المجلس نفسه وضم ممثلين عن الجمعيات الإسلامية الأخرى، مثل الجمعية التركية وجمعية الطلبة الأندونيسيين، وأطلق على نفسه المركز الإسلامي الدولي، ونشط هذا المركز لمدة قصيرة اعتراه الضعف بعدها؛ نظرا لعودة أكثر الطلبة النشطين إلى بلادهم بعد انتهاء الدراسة؛ فأصاب العمل الإسلامي في اليابان انحسار شديد.
وفي أوائل السبعينات جرت محاولات لإحياء المركز الإسلامي مرة أخرى؛ فتعاون الداعية الباكستاني سيد محمد جميل مع جمعية الطلبة المسلمين وأسس مركزا للدعوة سرعان ما تقلص؛ نظرا للظروف السياسية التي سادت باكستان في ذلك الوقت، ولنقص الدعم المادي.
وفي أواخر عام ١٩٧٣م عاد بعض الخريجين ممن كان يعمل في جمعية الطلبة المسلمين مرة ثانية لليابان؛ بناء على الطلب الذي تقدمت به الجمعية لجلالة المرحوم الملك فيصل بن عبد العزيز إبان زيارته لليابان للعمل على تنشيط الدعوة الإسلامية في اليابان؛ فقام هؤلاء بالتعاون مع المهتمين بالدعوة من المسلمين اليابانيين وغير اليابانيين بإنشاء المركز الإسلامي في اليابان كصيغة جديدة للمركز الإسلامي الدولي.