يعود استقرار بعض أعضاء الجماعات اليهودية في ألمانيا إلى الحملات الرومانية، وكوَّنت الجماعات اليهودية الأولى جزءاً من المدن الرومانية العسكرية على نهري الراين والدانوب (وورمز وسبير) . وكان أول وأهم هذه المعسكرات معسكر كولونيا (وهي من كلمة لاتينية تعني مستعمرة، وكلمة «كولونيالية» أي «استعمار» مشتقة من الكلمة نفسها) . ثم استوطن يهود آخرون في ألمانيا أثناء حكم شارلمان والإمبراطورية الكارولنجية. ويَرد في القرن العاشر الميلادي ذكر تجمعات يهودية في مدن مثل كولون. كما كانت تُوجَد تجمعات في أوجسبرج وورمز ومينز.
وقد كان أعضاء الجماعات اليهودية إبّان حكم الإمبراطورية الكارولنجية تحت حماية الإمبراطور، يتبعونه ويقدم هو لهم المواثيق والحماية والمزايا. وكانت علاقة الكنيسة بهم، وخصوصاً الأساقفة، طيبة على وجه العموم. وكان لليهود رئيسهم الديني الدنيوي الذي كان يُسمَّى «الآرش سينا جوجوس» أو رئيس المعبد، كما كان يُطلَق عليه «ابيسكوبوس جيود وروم» أو «أسقف اليهود» .....