قال ابن سعد في الطبقة الثالثة من تابعي أهل المدينة فقال: أمه هي أم عاصم بنت عاصم بن عمر بن الخطاب. قالوا: ولد سنة ثلاث وستين، قال: وكان ثقة مأمونا، له فقه وعلم وورع، وروى حديثا كثيرا، وكان إمام عدل -رحمه الله- ورضي عنه.
وقال الزبير بن بكار: وإخوته من أبويه عاصم وأبو بكر ومحمد.
وقال الفلاس: سمعت الخريبي يقول: الأعمش، وهشام بن عروة، وعمر بن عبد العزيز، وطلحة بن يحيى ولدوا سنة مقتل الحسين، يعني سنة إحدى وستين، وكذلك قال خليفة بن خياط وغير واحد في مولده.
وذكر صفته سعيد بن عفير: أنه كان أسمر، رقيق الوجه، حسنه، نحيف الجسم، حسن اللحية، غائر العينين، بجبهته أثر نفحة دابة، قد وخطه الشيب.
وقال إسماعيل الخطبي: رأيت صفته في بعض الكتب: كان أبيض، رقيق الوجه، جميلا، نحيف الجسم، حسن اللحية، غائر العينين، بجبهته أثر حافر دابة، فلذلك سمي أشج بني أمية، وقد وخطه الشيب.
قال ضمرة بن ربيعة: دخل عمر بن عبد العزيز إلى إصطبل أبيه، وهو غلام، فضربه فرس، فشجه، فجعل أبوه يمسح عنه الدم، ويقول: إن كنت أشج بني أمية إنك إذا لسعيد.
وروى ضمام بن إسماعيل عن أبي قبيل: أن عمر بن عبد العزيز بكى وهو غلام صغير، فأرسلت إليه أمه، وقالت ما يبكيك؟ قال ذكرت الموت قال: وكان يومئذ قد جمع القرآن، فبكت أمه حين بلغها ذلك.
أبو خيثمة: حدثنا المفضل بن عبد الله، عن داود بن أبي هند قال: دخل علينا عمر بن عبد العزيز من هذا الباب - يعني بابا من أبواب المسجد بالمدينة - فقال رجل من القوم: بعث إلينا هذا الفاسق بابنه هذا يتعلم الفرائض والسنن، وزعم أنه يكون خليفة بعده، ويسير بسيرة عمر بن الخطاب -رضي الله عنه-.
قال: فقال لنا داود: فوالله ما مات حتى رأينا ذلك فيه.
قيل: إن عمر بن الخطاب قال: إن من ولدي رجلا، بوجهه شتر، يملأ الأرض عدلا.