Hz. Osman’ın şehit edilmesi üzerine Medine meclisinde biatı kabul ederek dördüncü halife oldu (24 Haziran 656).
Hz. Ali’nin halife olması ile birlikte İslâm camiasında iç mücadeleler başladı. Görünüşte Ali’ye taraftar olan sahabeden Talha ve Zübeyr ile Peygamber’in hanımı Ayşe, Ali’ye biat etmediler ve beraberce Mekke’ye, oradan da Basra’ya giderek şehri ele geçirdiler. Hz. Ali, kendisini himaye edecek birliklerin azlığı sebebiyle Ekim 656’da Medine’yi terk etti. Kûfe muhafızlarından topladığı kuvvetlerle Basra üzerine yürüdü. Talha ve Zübeyr ile yapılan müzakereler sonuçsuz kalınca harp başladı. Ayşe, taraftarlarını cesaretlendirmek için bir deveye binerek savaş meydanına girdi.
Tarihte “Cemel vakası” diye bilinen bu savaşı Ali kazandı (4 Aralık 656). Böylece bütün Irak Ali’ye biat edildi. Bundan sonra karşısına Suriye valisi Muaviye Ebu Sufyan çıktı. Emevi ailesinin reisi olduğundan, Osman’ın katlinin intikamını almak bahanesiyle yola çıkan Muaviye, Mısır’ı ele geçirerek iktidar mücadelesine hazırlandı. Ali, 657 ilkbaharında Suriye üzerine hareket etti. İki ordu Sıffin’de karşılaştı. Muaviye, Osman’ın katillerinin kendisine teslim edilmesini istedi. Ali bunu reddetti; müzakereler neticesiz kaldı. Mayıs başlarında savaş başladı. Bazı fasılalarla 110 gün devam eden muharebeler sonunda Ali, zaferi kazanmak üzere iken Amr bin As’ın tavsiyesi üzerine Muaviye’nin birlikleri, Kuran’ın hakemliğine müracaat ettiklerine işaret olarak mızraklarının ucuna Kuran sayfaları takarak ortaya çıktılar.
Bu, Irak birliklerine tesir etti ve Ali hakem usulünü kabule mecbur oldu. Hakem olarak Ali tarafından Ebu Musa el-Eşarî, Muaviye tarafından ise Amr bin As tayin edildi. Hakemler, Şubat 658’de Ezruh’ta toplandılar. Uzun müzakereler sonucunda Amr’ın bir hilesiyle Ali, hakemi tarafından azledilince Amr, Muaviye’yi halife seçti. Bu hadise taraflar lehine katî bir sonuç doğurmadı, fakat Hz. Ali’nin durumunu biraz sarstı.
Hakem olayını protesto etmek maksadıyla Ali’nin ordusundan ayrılan 4 000 kişi Medain’e çekildiler. Şehri zaptederek yağma ve tahrip ettiler. Bunun üzerine Ali, İslâm tarihinde “Hariciler” olarak bilinen bu âsiler üzerine yürüdü. Nehruvan’da onları mağlup etti, fakat kuvvetlerinin azalması sonucu Kûfo’ya çekilmek zorunda kaldı. Burada Haricilerden Abdurrahman bin Mulcem tarafından şehit edildi (24 Ocak 661).
