يقع هذا المسجد على يمنة الخارج من باب مقبرة جنة البقيع وهو فى غرب قبر عقيل، وقبور أمهات المؤمنين ويقال إن عمودا واحدا تبقى من مبناه القديم.
وكان لهذا المسجد عقدان قديمان ومصنوعان من الحجر المنقوش. وكانت أنقاض هذين العقدين ظاهرة ماثلة للعين إلى عام ٧٢٠ هـ وبما أن شاهين الجمالى جدده فى نفس العام لم يبق لهما أثر الآن.
ولما كان مسجد البقيع متصلا بدار أبى بن كعب كان اسم المسجد القديم «مسجد أبى بن كعب» واشتهر فى فترة ما باسم مسجد جديلة وكذلك.
وقد صلى النبى صلى الله عليه وسلم مرارا وتكرارا فى مسجد البقيع وقال صلى الله عليه وسلم لو لم أحترز من اقتداء الناس بى وميلهم للصلاة فيه لأكثرت من الصلاة فى هذا المكان.
وظل مسجد البقيع فيما بعد خربا تمام الخراب، وفى عام ١٢٦٥ هـ أمر محافظ المدينة المنورة شمس الدين أفندى بإقامة جدار حوله فى ارتفاع ثلاثة أذرع وبهذا أنقذ المسجد من قاذورات البهائم.
وفى الجهة الشرقية من هذا المسجد قبور كثيرة لأعاظم السلف وفضلائهم ومن هذه القبور قبور صاحب الطريقة محمد سمان المدنى وأولاده.