Pada saat Nabi
Muhammad SAW wafat, umat Islam mengalami pergolakan tentang siapakah pengganti
nabi yang akan menjadi khalifah. Semasa hidupnya, Nabi Muhammad tidak
memberikan wasiat siapakah kelak yang akan menjadi penerusnya. Musyawarah yang
diadakan kaum Mujahirin dan Anshar, terpilihlah Abu Bakar menjadi Khalifah yang
pertama. Namun ada golongan yang tidak setuju dengankeputusan tersebut. Mereka menginginkan
Ali bin Abi Thalib menjadi penerus kekhalifahan, karna posisi beliau sebagai
ahli bait. Muncullah golongan Syiah untuk membela dan menjadi pengikut Ali. Sebagai
sepupu dan menantu Rasulullah, golongan Syiah berpendapat bahwa Ali lah yang berhak
menjadi khalifah.
Setelah khalifah
yang ketiga Usman Wafat, umat Islam beramai membaiat Ali menjadi Khalifah. Setelah
enam tahun menjabat, Ali banyak dihadapkan dengan peperangan dan pemberontakan.
Karena Ali banyak memecat pejabat masa pemerintahan Usman. Selain itu harta
orang kaya yang pernah diberikan pada masa Usman ditarik kembali. Karena kebijaksaan-kebijaksanaan
Ali pada masa itu, mengakibatkan perlawanan Gubernur dari Damaskus yang
merupakan khalifah Muawiyah. setelah perang Shiffin melawan kaum ini, pihak
yang berperang mengadakan tahkim atau
Arbitrase. Karena tahkim tersebut tidak menyelesaikan masalah, umat islam
terpecah menjadi tiga kekuatan politik, yaitu Muawiyah, Syiah (pengikut) Ali,
dan Al-Khawarij (golongan yang kelaur dari barisan Ali).
Setelah Ali
terbunuh oleh kaum Al-Khawarij, dan pemerintahan Yazid naik tahta. Yazid merupakan
anak dari khalifah Muawiyah yang menjalankan pemerintahan bersifat Monarki
(kerajaan). Kekhalifahan diperoleh dengan cara kekerasan, diplomasi dan tidak dengan
pemilihan suara terbanyak. Satu pendapat mengatakan bahwa Yazid anak Muawiyah
dari istri yang tidak sah (selir) sehingga kaum Syiah menentang Yazid mengangkat
dirinya menjadi khalifah.
Saat Yazid naik
tahta penduduk Madinah dipaksa untuk mengambil sumpah untuk setia padanya. Namun
hanya dua orang yang tidak mau bersumpah, yaitu Husein bin Ali dan Abdullah bin
Zubair. Kemudian pengikut Ali yang merupakan Syiah mengadakan konsolidasi
kekuatan untuk melawan Muawiyah. Kemudian pada tahun 680 M, Husein pindah dari
Mekkah ke Kufah (Irak) atas permintaan golongan Syiah. Umat islam di sini
tidak mengakui Yazid, lalu mengangkat Husein menjadi Khalifah. Dalam pertempuran
di Kuffah, Husein terbunuh dan dipenggal. Kepalanya dikirim ke Damaskus, sedangkan
tubuhnya dikubur di karbala.
Setelah kematian
Husein banyak pemberontakan terjadi diantaranya, pemberontakan Mukhtar pada 687-687
M. Mukhtar mendapat banyak pengikut diantaranya kaum Mawali, Umat Islam bukan Arab yaitu dari Persia, Armenia dan
lain-lain. Kaum ini dianggap sebagai warga negara kelas dua. Mukhtar terbunuh
saat melawan gerakan oposisi lainnya, gerakan Abdullah ibn Zubair. Namun Ibn
Zubair tidak dapat menghentikan gerakan Syiah ini.
setelah Husein ibn
Ali tebunuh, Zubair mengakui menjadi dirinya menjadi khalifah. Tak lama
setelahnya pasukan Bani Umayyah mengepung Mekkah dan Yazid terbunuh saat itu. Kemudian
tentara Umayyah menyerbu Ka’bah, keluarga ibn Zubair dan sahabatnya melarikan
diri dan mati terbunuh pada tahun 692 M.
Selain gerakan
diatas, gerakan-gerakan anarkis yang lakukan oleh kelompok Khawarij dan Syiah
juga dapat diredakan. Hubungan pemerintah dengan golongan oposisi membaik pada
masa khalifah Umar ibn Abd Al-Aziz tahun 720 M. Saat itu kaum Mawali disejajarkan
dengan muslim Arab dan memberikan kebebasan kepada penganut keyakinan dan
kepercaan kepada penganut agama lain.