يوحد جمعهم، ويجمع شتيتهم، وأن يتعاونوا على صون الوحدة عن كل ما يثلمها، فيكونوا بهذا العمل الجليل قد أدوا فريضة، وطلبوا سعادة، والرمق باق، والآمال مقبلة)، ولقد كان ذلك المصلح العظيم يرى أن قيام هذه الوحدة للمسلمين (مما تقضي به الضرورة، وتحكم به العادة، حتى يقيموا بذلك سداً يحول عنهم تدفق السيول المتدفقة عليهم من جميع الجوانب، ومن ثم ظل طول حياته ينهض بهذه الدعوة وينادي بضرورتها في كل مناسبة سانحة، وفي كل مكان تنزل به قدمه، ثم أراد أن ينظم سبيل الدعوة، وأن يقوي من صوتها وأغراضها، فأنشأ جمعية (أم القرى) وهو في مكة لتدعو إلى الجامعة الإسلامية تحت لواء خليفة واحد يسيطر على العالم الإسلامي أجمع، ثم ألف جماعة (العروة الوثقى) وهو في باريس من مسلمي الهند ومصر وشمال أفريقيا وسوريا، وأصدر بالاشتراك مع الشيخ محمد عبده مجلة (العروة الوثقى) لساناً لحالها وتعبيراً عن أغراضها، وكان هدفها وحدة المسلمين وإيقاظهم من سباتهم، وتنبيهم إلى المخاطر التي كانت تهددهم، وإرشادهم إلى سبل مواجهتها والتغلب عليها.
كانت دعوة جمال الدين تتلخص في أن الوحدة بين المسلمين ضرورة تقضي بها الطبيعة والعادة، ويؤيدها العقل والنقل، وتقرها شواهد التاريخ للجماعات البشرية، وعوامل الاجتماع والألفة بين الأمم والشعوب، وكان يضرب لذلك الأمثال والسوابق في تاريخ الوحدة الإسلامية في الصدر الأول. والوحدة الجرمانية في العصر الحديث، أما المبررات والدعائم التي تقوم عليها هذه الوحدة، فقد أشار إليها إشارة عابرة في إحدى مقالاته إذ يقول:(إن من أدرنه إلى بيشاور دولاً إسلامية متصلة الأراضي متحدة العقيدة لا ينقص عددهم عن خمسين مليوناً، وهم ممتازون بين أجيال الناس بالشجاعة والبسالة، فلو اتفقوا فليس ذلك ببدع بينهم. .)، ومعنى هذا أنه يرى أن الدعائم لتحقيق الوحدة ترجع، أولاً: إلى اتصال الأراضي وتجانس الوضع الجغرافي بين الأقطار الإسلامية، وثانياً: إلى اتحاد العقيدة التي تربط القلوب وتؤلف النفوس وتوحد بين الإحساس والاتجاه، وثالثاً: كثرة العدد، وهذا مما يجعل الوحدة قوة يحسب حسابها ويخشى بأسها، ورابعاً: ما يتجلى فيهم من صفات الشجاعة الموروثة ومآثر الرجولة الكامنة، وهذا ما يقوي الأمل في قدرة الوحدة على مواجهة الخطوب والتغلب على الصعاب التي تحيط بها، وحطم الأنياب المسنونة لا