61’de (680) Medine’de doğdu. Babası Mısır Valisi Abdülazîz b. Mervân, annesi Hz. Ömer’in torunu Ümmü Âsım’dır. Emevi Ailesinden olduğu için saraylarda rahat bir çocukluk geçirir. 10 yaşlarındayken ilim öğrenmeye Peygamberin şehri Medine’ye gitmek istediğini babasına söyler ve babası da dönemin en meşhur fakihlerinden ders alması için onu Medine’ye gönderir. Onu Medine’nin tanınmış âlimlerinden Sâlih b. Keysân’a emanet eder. Medine’de Enes b. Mâlik ve dayısı Abdullah b. Ömer başta olmak üzere pek çok sahâbîyi dinleme imkânı bulur. Ubeydullah b. Abdullah ile Saîd b. Müseyyeb ve Urve b. Zübeyr gibi tâbiînin ilk tabakasına mensup âlimlerin derslerini takip eder. Hem Medine halkının hem de Emevî ailesinin parmakla gösterdiği bir şahsiyet olur. Dönemin halifesi yani amcası Velid b. Abdülmelik onu Medine’ye vali olarak atamak ister. Fakat Ömer b. Abdülaziz başta Emevî devleti gibi bir devletin valisi olmak istemez ve hocalarına danışır. Hocaları valilik görevini kabul etmesi gerektiğini söyler çünkü o olmasa görevi başkası kabul edecektir ve peygamber şehrini herhangi birine bırakmaması gerekmektedir. İstemese de Ömer b. Abdülazîz 25 yaşlarında Medine valisi olur. Valilik merkezi Medine’deki ilk icraatı, şehrin on meşhur fakihiyle görüşüp meseleleri kendileriyle istişare ettikten sonra karara bağlayacağını bildirmek olur. Yaklaşık yedi yıl süren valiliği sırasında beş defa hac emirliği yapar. Halife I. Velîd’in tâlimatıyla Mescid-i Nebevî’yi genişletir ve Resûlullah’ın namaz kıldığı diğer mescidleri yeniletir. Ve Medine’ye tekrardan asr-ı saadet havası gelir. Irak Valisi Haccâc’ın uygulamalarını sert bir şekilde eleştirmesiyle görevinden azliyle neticelenir.

Ömer b. Abdülaziz görevinden ayrıldıktan sonra devletin başkenti olan Şam’a yani ailesinin yanına döner. Şam’da ilim tahsilini sürdürmekle beraber sessiz bir muhalefete de devam eder. Yapılan yanlışları bazen sessizce bazen de sesli bir şekilde dile getirir. Bu süre zarfında Süleyman b. Abdülmelik halife olur ve Ömer b. Abdülazîz’i kızı Fatıma ile evlendirir. Fakat Ömer b. Abdülazîz’e devlet işlerinde herhangi bir görev vermez. Çünkü bilir ki onun gibi biri devlet yönetiminde olursa orda haksızlığa yer verilmez.

Süleyman b. Abdülmelik ölüm döşeğindeyken hocası Ömer b. Abdülazîz’i halife olarak bırakmasını tavsiye eder. Ömer b. Abdülazîz 99 (717) yılında Süleyman’ın ölümü üzerine halife ilân edilir. Bu önemli görevin kendisine bilgisi dışında verildiğini söyleyerek affını istediyse de biat merasimine katılanların ısrarları üzerine görevi kabul eder (10 Safer 99/22Eylül 717). Halifeliği İslâmî kurallar çerçevesinde yürütmeye çalışan Ömer b. Abdülazîz, uygulamalarında esas almak için Hz. Peygamber’in ve anne tarafından dedesi Hz. Ömer’in yönetimle ilgili karar ve icraatları hakkındaki belgeleri toplar. Meşhur âlimleri kendisine danışman seçer. Ayrıca çeşitli vilâyetlerdeki âlimlere mektuplar yazarak onların tavsiyelerini ister.

Halife Ömer saraydaki lüks eşyaları beytülmâle koydurması, köle ve câriyeleri âzat etmesi, halktan biri gibi yaşaması ve hutbelerde sadece halifeler için yapılan duayı halk için okunan umumi duaya çevirmesi gibi uygulamalarıyla Emevîler’in geleneksel saltanat geleneklerine son verir. İlk dört halifeyi örnek alan bu davranışları sebebiyle Hulefâ-yi Râşidîn’in beşincisi sayılır. O çok hadis rivayet eden güvenilir bir hadis râvisi, seçkin bir fakih, dirayetli bir kelâm âlimidir.

Onun Halifeliği zamanında dünya yine asrı saadetli zamanlarını yaşar. Müslümanlar hak ettikleri adalete, refaha yeniden kavuşur. Öyle ki onun halifeliği sürecinde hiç kimseye haksız yere imtiyaz tanınmaz. Yıllarca haksız yere imtiyazlara sahip olan Emevî ailesi bu durumundan rahatsız olur. Fakat Ömer b. Abdülazîz Allah’ın hükmünün dışına çıkmamakta kararlıdır. Böylelikle 29 aylık hilafeti sürecinde 3 kıtaya yayılan İslam devletinde, zekât verilecek tek bir ihtiyaç sahibi kalmaz.

Emevîler döneminin başında terkedilen İslâmî yönetim anlayışını yeniden uygulamaya koyan Ömer b. Abdülazîz, 20 veya 25 Receb 101 (5 veya 10 Şubat 720) günü Humus’a bağlı Deyrsem‘ân’da vefat eder. Bazı kaynaklarda Abdülmelik evlâdı tarafından zehirletilmesi sonucu öldüğü kaydedilir (Taberî, 6/556). Abdülmelik’in kızı Fâtıma dışında üç hanımla daha evlendiği ve yirmi civarında çocuk sahibi olduğu rivayet edilir.