ولقد رأى الشيخ بثاقب بصيرته أن التعليم الذى يتم في حلقات الدروس في المسجد الحرام يقتصر على التعليم الديني وما يتعلق به من علوم اللغة والبيان، وأن الحاجة تدعو إلى إدخال مواد أخرى لتعليمها لأبناء المسلمين، وكان يرى أن المدرسة التي يتم تأسيسها على أسس برامج ومناهج دراسية معينة يمكن أن يجني منها المتعلم فوائد أخرى إلى جانب دراسته الدينية.
كانت الحكومة العثمانية تبذل بسخاء لمدرسي المسجد الحرام ولعلماء مكة المكرمة ولكن البلاد كانت خالية من المدارس التي تجمع بين علوم الدنيا والدين، فقام الشيخ رحمت الله بافتتاح أول مدرسة في مكة المكرمة في ربيع الأول من عام ١٢٨٥ للهجرة على نفقته الخاصة واتخذت المدرسة مقرا لها بدار أحد أمراء الهند المهاجرين المعروفة بدار السقيفة عند مطلع جبل هندى بالشامية. ولكن الدار كانت ضيقة، فلم يتمكن الشيخ من تنظيم الدراسة فيها بالشكل الذى يتمنى ويريد.
[المدرسة الصوليتية]
وفى عام ١٢٨٩ هـ قدمت لأداء فريضة الحج الأميرة صولة النساء إحدى أميرات الهند، وكانت تنوي بعد أداء الحج إنشاء رباط بمكة المكرمة يكون وقفا للفقراء فاستشارت الشيخ رحمت الله في الأمر وهو المعروف أمره والمنتشر ذكره، قال الشيخ رحمت الله لصولت النساء: أن مكة المكرمة تحتاج إلى مدرسة يتعلم بها أبناء المسلمين، وحدثها عن مدرسته التي أسسها والتى تحتاج إلى بناية أعظم تبنى لتكون مدرسة نظامية، أم وافقت الأميرة صولت النساء على فكرة الشيخ وفوضت إليه أمر بناء المدرسة على نفقتها. ويسر الله الأمر فتم شراء الأرض في حي الخندريسة بمحلة الباب ووضع الشيخ رحمت الله حجر الأساس لأول مدرسة دينية نظامية في رحاب البيت العتيق وتم في صباح الأربعاء ١٥ شعبان ١٢٩٠ للهجرة ابتداء الدراسة بالمدسة الصوليتية التي جعل الشيخ اسمها مرتبطا باسم أميرة الهند صولت النساء، وجرى الاحتفال بذلك الحدث بحضوره علماء مكة المكرمة وأعيانها