Sebelum masuk Islam, Umar di kenal sebagai salah satu tokoh Quraisy yang menentang ajaran Islam. Ia bahkan sering melakukan penyiksaan terhadap pemeluk-pemeluk Islam. Umar juga pernah memiliki rencana akan membunuh Nabi Muhammad. Sebelum melaksanakan niatnya Umar justru mengetahui lebih dulu bahwa adiknya telah memeluk Islam. Umar segera bergegas pulang ke rumahnya dan sesampainya di rumah ia mendengar adiknya sedang membaca Alqur’an surat Thoha. Umar merebut lembaran Alquran dari tangan adiknya kemudian membacanya. Hati Umar langsung terguncang, dan saat itu juga ia menyatakan masuk Islam.
Setelah Umar Masuk Islam, posisi Nabi Muhammad makin kuat. Umar adalah seorang panglima perang dan terlibat langsung dalam berbagai peperangan seperti perang Badar, Uhud, Khaybar serta penyerangan ke Syria. Setelah Umar menjadi khalifah, kekuasaan Islam tumbuh sangat pesat mencakup wilayah Mesopotamia (Iraq) dan sebagian Persia Mesir, Palestina, Syria, Afrika Utara. Pengaruh Islam juga melebar ke Armenia setelah merebutnya dari kekaisaran Romawi (Byzantium). Sejarah mencatat banyak pertempuran besar yang menjadi awal penaklukan ini. Pada pertempuran Yarmuk, yang terjadi di dekat Damaskus pada tahun 636, 20 ribu pasukan Islam mengalahkan pasukan Romawi yang mencapai 70 ribu dan mengakhiri kekuasaan Romawi di Asia Kecil bagian selatan. Pasukan Islam lainnya dalam jumlah kecil mendapatkan kemenangan atas pasukan Persia dalam jumlah yang lebih besar pada pertempuran Qadisiyyah (th 636), di dekat sungai Eufrat. Pada pertempuran itu, jenderal pasukan Islam yakni Sa`ad bin Abi Waqqas mengalahkan pasukan Sassanid dan berhasil membunuh jenderal Persia yang terkenal, Rustam Farrukhzad.
Pada tahun 637, setelah pengepungan yang lama terhadap Yerusalem, pasukan Islam akhirnya mengambil alih kota tersebut. Umar diberikan kunci untuk memasuki kota oleh pendeta Sophronius dan diundang untuk salat di dalam gereja. Umar memilih untuk salat ditempat lain agar tidak membahayakan gereja tersebut. 55 tahun kemudian, Masjid Umar didirikan ditempat ia salat. Umar melakukan banyak reformasi secara administratif dan mengontrol dari dekat kebijakan publik, termasuk membangun sistem administratif untuk daerah yang baru ditaklukkan. Ia juga memerintahkan diselenggarakannya sensus di seluruh wilayah kekuasaan Islam. Tahun 638, ia memerintahkan untuk memperluas dan merenovasi Masjidil Haram di Mekkah dan Masjid Nabawi di Madinnah. Ia juga memulai proses kodifikasi hukum Islam. Umar dikenal dari gaya hidupnya yang sederhana, Pada sekitar tahun ke 17 Hijriah, tahun ke-empat kekhalifahannya, Umar mengeluarkan keputusan bahwa penanggalan Islam hendaknya mulai dihitung saat peristiwa hijrah.
Umar bin Khattab dibunuh oleh Abu Lukluk (Fairuz), seorang budak pada saat ia akan memimpin salat Subuh. Fairuz adalah salah seorang warga Persia yang masuk Islam setelah Persia ditaklukkan Umar. Pembunuhan ini konon dilatarbelakangi dendam pribadi Abu Lukluk (Fairuz) terhadap Umar. Fairuz merasa sakit hati atas kekalahan Persia, yang saat itu merupakan negara digdaya, oleh Umar. Peristiwa ini terjadi pada hari Rabu, 25 Dzulhijjah 23 H/644 M. Setelah kematiannya jabatan khalifah dipegang oleh Usman bin Affan.
