Halife seçimi için Benî Salde sakifesine toplanan ashabın yanına Ebu Bekir ile birlikte gitti.Ortaya çıkan anlaşmazlığı, Ebu Bekir’in halifeliği layık olduğuna toplantıdakileri inandırarak giderdi. Ebu Bekir’in halifeliğini kabul ettiğini belirtmek için ona biat etti (632); onun halifeliği sırasında Ömer, girişilen bütün işlerde Ebu Bekir’e yardımcı oldu. Ebu Bekir ölürken yerine halife olarak Ömer’i aday gösterdi. Ömer halife oldu (634).Ebu Bekir’in sağlığı sırasında Suriye seferine çıkan ordunun baş kumandanı Halid bin Velid’i görevinden alarak yerine Ebu Ubeyde’yi getirdi. Halid bin Velid’in Ecnadeyn’de bozguna uğrattığı Bizans ordusundan arda kalanlar Ürdün yakınlarında Fihl’de toplandılar.
Müslümanlar, başkumandanlıktan alınarak bir savaş birliğinin başına getirilen Halid bin Velid’in kumandasında bunları takip ederek Beysan geçidini aştılar ve Fil’de Bizans ordusuna tekrar yenerek Dimaşk’a çekilmek zorunda bıraktılar (635). Aynı zamnada kuzeyde bulunan Hims üzerine de başarılı bir baskın yapıldı. Halid bin Velid buradanda Dimaşk üzerine yürüyerek Bizans’a karşı yeni bir savaşa girişti. Bizanslılar bu savaş sonucu şehirde kuşatıldılar. 635 yılında Dimaşk alındı. Halid ilerlemesine devam ederek Kınnesrin’i aldı ve burayı bir karagâh durumuna getirdi.Muaviye Casarca’yı ve Alkame bin Mucazziz Gazze’yi aldı (632), Şurahbil Beysan ve Ürdün’ün fethini tamamladı.
Amr Übnül As da Kudüs üstüne yürüdü. Antakya’da bulunan Bizans İmparatoru Herakleisos 100 000 kişilik bir orduyu güneye gönderdi. Yermük’te Sabellarios kumandasındaki Bizans ordusu, 24 000 kişilik Müslüman ordusuyla karşılaştı. Bizanslılar büyük bir bozguna uğratıldı. Ordu kumandanı öldürüldü (636). Suriye’nin fethi devam ederken Ebu Ubeyde, Hire kumandanı Müsenna’yı da yanına alarak İran üstüne yürüdü. İran kumandanları Behmen, Nesri ve Calinus yenilgiye uğratıldı. Bu sırada Behmen yeni bir orduyla Medain’den gelerek Fırat kıyısındaki Kussünnatif’in yakınında konakladı. Ebu Ubeyde, gemilerden kurduğu bir köprü üzerinden geçerek ona saldırdı. Fakat Müslümanlar yenildi ve Ebu Ubeyde şehit düştü. Bu arada köprüde yıkıldığından geri çekilen Müslümanlar ağır kayıplar verdi (636). Müsenna, halife Ömer’den yardım istedi
Ömer bütün Arabistan’da seferberlik ilan ederek topladığı ordunun başına geçmek istediyse de, sahabeler bunu kabul etmediler.Bunu üzerine Ömer, İran’a gidecek ordunun başına Sad bin Ebi Vakkas’ı baş kumandan olarak tayin etti. Sad orduyla Kadisiye’ye geldi. Burada büyük bir meydan savaşı oldu. İran ordusu başkumandanı Rüstem öldürüldü. İranlılar’ın yüzyıllarca düşman eline geçmeyen bayrakları “Derefsi Gavyân” Müslümanların eline geçti. 30 000 İran’lı asker kaçarken öldürüldü (636). Sad bin Ebi Vakkas, iki ay Kadisiye’de kaldıktan sonra İran’ın başkentine doğru yürüdü. Yenilen İran ordusundan kalanları Babil yakınlarında yeniden yendi. Sad, Dicle’yi geçti ve savaşmadan İran kisrası Yezdgerd tarafından boşaltılan başkent Medain’e girdi.
Celûla yakınlarında hendek ve istihkamların arkasında toplanan İranlıları yendi. Yezdgerd sığındığı Hulvan şehrini bırakarak Rey’e kaçtı (638). İran’a yapılan sefere katılan gaziler için Hz. Ömer’in emriyle Kufe ve Hasra şehirleri kuruldu. Öte yandan 636’da Amr İbnül As kumandasındaki Müslümanlar tarafından kuşatılan Kudüs şehri halkı, halife Ömer gelirse şehri teslim edeceklerini bildirdiler. Ömer kölesiyle birlikte çölü geçerek Kudüs’e geldi. Halka çok iyi davrandı. Bir süre şehirde kaldıktan sonra geri döndü (637). 638’de Halep ve Antakya şehirleri alındı. İyad bin Ganem kumandasındaki bir İslam ordusu Mezopotamya bölgesindeki bütün şehirleri aldı (641). Yezdgerd’in seferberlik ilan ederek Nihavend’de büyük bir ordu toparlamakta olduğunu öğrenen Ömer, Numan bin Mukarin okumandasındaki islam ordusunun İranlılar üzerine saldırmasını emretti.
O sırada Ramhürmüz ve İzec’i alan Numan, Kûfelilere kumanda ediyordu; sonra, Medine’den gelen yardım kuvvetleri ile birlikte Niha vend’e doğru hareket etti. Nihavend’de Feyruzan kumandasındaki İran ordusuyla karşılaştı ve İranlılar büyük bir bozguna uğradı; fakat Numan savaş sırasında şehit oldu. Müslümanlar Hemedan ve Nihavend’i aldılar (641).
Halife Ömer İran’ın fethini tamamlamak için Kûfe ve Basra’da iki büyük ordu topladı. Bu ordulara birçok kumandan tayin etti ve kumandanların almakla görevli oldukları yerlri kendilerine bildirdi. Kısa bir süre içinde İran’ın fethi tamamlandı. İyad bin Ganem Mezopotamya’da fetihlerini sürdürürken Amr İbnül As da Mısır seferine çıktı (640). 3 500 kişilik bir orduyla Babil’i kuşatan Amr’a halife Ömer, Zübeyr kumandasındaki 10 000 kişilik bir yardım gönderdi.
Babil’i alan Amr, İskenderiye üzerine yürüdü ve Kiriaun yakınında bir Mısır ordusunu yendi. İskenderiye’de bulunan Mısır kralı Mukavkıs ile yapılan görüşmelerden bir sonuç alınamayınca Amr şehri kuşattı ve üç ay sonra ele geçirdi. İskenderiye’nin alınışından sonra Amr doğuya yöneldi. Pentapolis şehri teslim oldu. Bu arada Manuel kumandasında bir Bizans ordusu İskenderiye’yi ele geçirdi. Fakat Amr, şehri Bizanslılardan geri alarak surları yıktırdı (642).Halife Ömer’in emriyle Mısr’da Fustat şehrini kuran Amr İbnül As yakınlarından Ukbe bin Nafi el Fihri’yi Kuzey Afrika’nın fethiyle görevlendirdi. Kısa bir süre içinde Bingazi ve Trablusgar İslam ülkesine katıldı (643).
Sabah nazmını kıldırırken Zerdüşt dininden bir köle olan Ebu Lülüe Feyruz tarafından öldürülen (644) Hz. Ömer’in halifeliği, İslam devletinin birçok siyasi kurumunun doğduğu dönemdi, İlk adli teşkilatı Ömer kurdu. Mahkemelere tayin ettiği kadıların yolsuzluk yapmalarını engellemek için onlara en yüksek maaşın verilmesini emretti (500 dirhem). Bu mahkemelerin yanında halkın şer’i hükümlerde şüpheye düştükleri konuları öğrenebilmeleri için İfta mahkemelerini kurdurdu. Hapishane olarak kulanılmak üzere Mekke’de bir ev satın aldı. Sonraları öteki şehirlerde de mahkemelerin kurulmasını emretti. Sürgün cezası ilk olrak halife Ömer döneminde uygulandı.
Vergilerin toplatılması ve maliye ile ilgili işlerin yürütülmesi için defterler tutturdu. Bu defterlerin tutulma işini Bizanslı memurların bilgisinden yararlanarak bir sisteme bağladı (Suriye valisi Muaviye’ye yazdığı mektupta şöyle diyordu: “Bize hesaplarımızı bir rumî gönder”). Antlaşmaların ve kayıtların korunması için arşiv kurdurdu. Askerin maaşını tayin eden bir kayıt defteri (divan), Ömer zamanında tutulmaya başlandı.
Hicretin, tarih başlangıcı kabul edilmesi Ömer zamanında oldu. Üzerlerinde Elhamdülillah, Muhammedürresulullah, Lailaheillallah yazılı sikkeler bastırdı.
Ömer, İslam ülkelerinde yaşayan gayri müslim tebaanın (zimmî) bağlı olduğu idari esasları (ahkâmı ehli zimme) tespit ettirdi ve zimmîlere geniş bir din hürriyeti tanıdı. Çok kuvvetli birliklerle donattığı orduya ayrıca hekimler, katipler, mütercimler tayin ettirdi. Sonra da büyük şehirler haline gelen ordugâhları kurdurdu. Halife Ömer, bu kurumların yanında, içtihat alanına giren bazı dini meselelerde de yenilikler getirdi, içki içemlere verilen cea,zayı ağırlaştırdı, teravih namazlarını cemaatle kıldırdı, dinî hüküm çıkarmada (istinbat) kıyas usulünü getirdi.
Ömer halifeliğinin bütün gücüne rağmen bir hükümdar gibi yaşamadı. Valilerine gönderdiği mektuplarda onlara sade yaşamayı öğütledi. Halife deyimini bir kenara bırakarak emirülmüminîn (müminlerin emiri) unvanını aldı. Yaptığı işlerdeki adaleti ve doğruluğuyla tanındı. Bu yüzden kendisine Faruk (“doğruyu eğriden ayıran”) lakabı verildi.
Kûfe valisinin iranlı kölesi tarafından mescitte hançerlendi; üç gün sonrada öldü.