كان له من البنين عبد الله وأبو بكر وإبراهيم وإسحق ويعقوب وموسى والوليد وعاصم ويزيد وعبد العزيز وعبد الملك ولم يأل جهدا في تربيتهم ونصحهم وتدريبهم وتوجيههم إلى ما ينفعهم في دنياهم وآخرتهم.
حكى عن ابنه عبد العزيز وكان يلي المدينة ومكة- بعد موت أبيه- ليزيد بن عبد الملك، وثبته فيهما مروان بن محمد، أن أباه كان دائم الوصية له ولإخوته ومما كان يقول له:"يا بني إذا سمعت كلمة من امرئ مسلم فلا تحملها على شيء من الشر ما وجدت لها محملا على الخير".
ومما روي أن ابنه عبد الله ذهب إليه، وقال له: اكسني يا أبت!
فقال له: اذهب إلى الخيار بن رباح البصري، فإن لي عنده ثيابا فخذ منها ما بدا لك.
قال: فذهبت إلى الخيار بن رباح، فقلت له: استكسيت أبي، فأرسلني إليك، وقال: إن لي عند الخيار بن رباح ثيابا.
قال: صدق أمير المؤمنين، فأخرج إليه ثيابا رخيصة، رأى عبد الله ابن الخليفة أَنها لا تناسبه، فسأل الخيار: هل عندك غيرها له؟
قال: ما عندي غيرها لأمير المؤمنين فخذ منها ما بدا لك.
لم يأخذ عبد الله منها شيئا، ورجع إلى أبيه عمر، فقال: يا أبتاه، استكسيتك فأرسلتني إلى الخيار بن رباح، فأخرج لي ثيابا ليست من ثيابي ولا من ثياب قومي. قال: فذاك ما لنا عند الرجل. فانصرف عبد الله حتى إذا كاد يخرج ناداه فقال له: هل لك أن أسلفك من عطائك مائة درهم؟
قال: نعم يا أبتاه.
فأسلفه مائة درهم، فلما خرج عطاؤه حوسب بها، فأخذت منه!
وقال مسلمة بن الخليفة عبد الملك يذكر عطاء عمر لأولاده:
"رحم الله عمر والله لقد هلك وما بلغ ابن له قط شرف العطاء"
كان عمر يكره أن يلي أحد أولاده ولاية أو منصبا، مكتفيا بنفسه حيث سيحاسبه الله على كل صغيرة وكبيرة متأسيا بجده الخليفة الثاني عمر بن الخطاب حيث خوطب في تولية ابنه عبد الله بن عمر فأبى وقال: أعمر وابنه؟!!