وكان الأخ عبد الغفور ينكر عليهم ذلك بشدة ويقول لهم إن المساجد لله، وبنيت لذكره، فلا يجوز استعمالها فيما هو محرم في غيرها، ولكن القوم ألفوا ذلك ودأبوا عليه فلم يسمعوا له قولا، فوقف فوزي بجانب عبد الغفور، وانتهى الأمر بانتخاب جديد لأعضاء الجمعية فكان فوزي هو الرئيس في هذه الدورة، ومضى الأخوان في تعاون ووفاق.
واعتزل الجمعية من لم يرض بما حصل، وكان المسجد يفتح في جميع الأوقات وذكر بعض أعضاء اتحاد الطلبة المسلمين أنه حضر المسجد في بعض الأوقات العادية التي هي في أيام عطل وليست في أيام إجازة فوجد وراء الإمام ثلاثة صفوف وذلك نادر في مساجد الولايات المتحدة الأمريكية، فضلا عن هذا المسجد الذي كان يعتبر مهجورا.
أما في أيام الجمع فإن المسجد لا يتسع للمصلين، لذلك وسعوه من جهة القبلة وهذا خير كثير إذا ما قورن بالمساجد التي تعتبر معمورة ولها من يقوم عليها وينفق الأموال الكثيرة.
ثم دب الخلاف بعد ذلك بين الأخ عبد الغفور والأخ فوزي واتسع الخرق على الراقع، فبلغ الأمر إلى أن دعا عبد الغفور إلى انتخابات جديدة حضرها بعض الأعضاء وغاب عنها بعضهم، ولما كان اليمنيون هم الأغلب وقد رأوا في عبد الغفور ما يجمعهم ويبصرهم فقد تم انتخابه رئيسا للجمعية المذكورة عند ذلك طلب من فوزي تسليم الأموال التي بيده، بل التي أودعها في البنك باسم رئيس الجمعية وأن يحاسب المسؤولون الجدد بما تم في الأموال المصروفة، فرفض ذلك، واشتد النزاع وتفاقم أمره.