Весной 683 г. влиятельные мединцы прогнали наместинка Медины Османа ибн Мухаммада, двоюродного брата Йазида, и заявили о низложении халифа. Вместе с тем, они не стали поддерживать мятежного Ибн аз-Зубайра, поскольку считали, что халифа должен выбирать совет. В августе 683 г. к Медине подошла направленная Йазидом из Сирии армия. После упорного сражения воины халифа ворвались в город и предали его настоящему разгрому. По сообщениям мусульманских историков, среди убитых оказалось 306 курайшитов и ансаров. В сентябре того же года начались боевые действия у Мекки, где во дворе ал-Масджид ал-Харам стал лагерем Ибн аз-Зубайр, примкнувшие к нему хариджиты из Йамамы и оставшиеся в живых мединцы. На горе Абу Кубайс сирийцы установили катапульту, с помощью которой стали метать камни в мечеть. Одним из наиболее запоминающихся эпизодов этой кампании стал пожар Каабы, во время которого треснул и раскололся знаменитый Черный камень (31 октября 683 г.).
В конце 683 г. после гибели Йазида (разбившегося в результате падения с лошади на охоте) в Халифате вновь вспыхнули смуты, но на этот раз их причиной стало фактическое безвластие в самом Дамаске, где после гибели Йазида I его сыновья показали полную неспособность к управлению страной. Старший сын Йазида Муавия II (683—684) не имел никаких властных амбиций и фактически передоверил все функции управления государством Хассану ибн Малику ибн Бахдалу, предводителю арабского племени калб, двоюродному брату Йазида. Хассан имел авторитет в Сирии и Палестине, но не пользовался влиянием в других областях Халифата — Ираке, Египте и Аравии. К тому же спустя три месяца Муавия II объявил, что отрекается от власти. Халиф не сделал никаких распоряжений относительно своего наследника и вскоре скончался, заболев чумой. Его брат Халид также был неподходящим кандидатом на престол, поскольку науками — химией и греческой философией — интересовался больше, чем политикой. Других взрослых сыновей у Йазида не было, поэтому реальными претендентами на власть могли стать представители других ветвей рода Омейядов, но среди них самих не имелось единства на этот счет.
Положение в Сирии осложнялось еще и разгоревшимися волнениями арабских племенных объединений калб и кайс. Калбиты считались «старыми сирийскими арабами» — на них опирался еще Муавия, женатый на дочери их вождя и предоставивший калбитам ряд привилегий. Североарабские племена кайситы переселились в Сирию из Аравии во время мусульманского завоевания; они растеклись по всей Сирии, заняв пустующие земли, и периодически конфликтовали с местными племенами из-за пастбищ и водопоев.
Узнав о безвластии в Дамаске, Ибн аз-Зубайр в феврале 684 г. объявил себя халифом. Он сразу же лишился поддержки иракских хариджитов, которые, отстаивая идею выборности правителя, не признали его законным халифом, но по-прежнему пользовался влиянием в Аравии и имел немало сторонников в Египте, Ираке и Хорасане. К нему также примкнули вожди некоторых арабских племен Сирии и Палестины (как из калбитов, так и из кайситов). Не остались в стороне от борьбы за власть и вожди хариджитов — Нафи ибн ал-Азрак и Наджда ибн Амир ал-Ханафи. Поначалу они поддерживали Ибн аз-Зубайра в его противостоянии Йазиду I, но затем отмежевались от него и уехали из Мекки в Басру. Очень скоро между ними возникли разногласия.
Ибн ал-Азрак занимал непримиримую позицию по отношению к мусульманам-нехариджитам. Он считал их язычниками, с которыми нельзя идти ни на какие соглашения; даже те из хариджитов, которые не принимали участие в хариджитских восстаниях, рассматривались им как изменники. Последователи Ибн ал-Азрака впоследствии получили название «азракитов». Наджда ибн Амир придерживался более умеренных взглядов, допуская общение хариджитов с иноверующими мусульманами. Так и не договорившись с Ибн ал-Азраком, Наджда летом 684 г. ушел из Басры в Йамаму. Там он возглавил местных хариджитов и значительно укрепил свои позиции, захватил в 686—688 гг. Бахрейн, Оман и Йемен.
Несмотря на то, что сам Ибн ал-Азрак вскоре погиб в одной из стычек с басрийцами, азракитам удалось распространить свою власть на ал-Ахваз (Хузистан), Фарс и Керман. Своего вождя ал-Катари ибн ал-Фуджаа они провозгласили халифом. Азракиты нашли поддержку среди сельского населения этих областей Южного Ирана, но широкой социальной базы не имели, так как своим экстремизмом отталкивали от себя остальных мусульман.
Трагическая гибель Хусейна побудила куфийских шиитов искать способы отмщения его убийцам-Омейядам и (в перспективе) передачи власти представителю «дома Пророка». Часть шиитов шли за Сулейманом ибн Сурадом, другие поддерживали прибывшего из Мекки ал-Мухтара ибн Аби Убайда ас-Сакафи, который объявил себя представителем Мухаммада ибн ал-Ханафии (637—700), сына Али (не от Фатимы, а от другой жены — Хаули бинт Джафар из племени ханиф). Выступление Сулеймана потерпело неудачу — собранные им отряды в начале 685 г. были разбиты сирийскими войсками.
В октябре 685 г. ал-Мухтар поднял восстание в Куфе. Его сторонники осадили дворец наместника (ставленника мекканского халифа Ибн аз-Зубайра Абдаллаха ибн Мути) и вынудили куфийскую знать присягнуть ал-Мухтару. Через некоторое время повстанцы захватили Мосул и совершили неудачный рейд на Мекку. В августе 686 г. на р. Хазир отряды ал-Мухтара нанесли тяжелое поражение сирийскому войску, отбили утраченный к тому времени Мосул и вошли в Нисибин. В восстании ал-Мухтара активное участие принимали мусульмане-неарабы (мавали) и рабы, из-за чего знатные куфийцы в конце концов отшатнулись от ал-Мухтара, а некоторые даже выступили против него. Ал-Мухтар ответил на это казнями, заставив уцелевших аристократов обратиться за помощью к басрийцам, поддерживавшим Ибн аз-Зубайра. Басрийцы с боями прорвались в Куфу и блокировали резиденцию ал-Мухтара. После четырехмесячной осады сторонники ал-Мухтара сдались и впоследствии были казнены, а сам он погиб в бою в апреле 687 г.
Несмотря на гибель ал-Мухтара, проповедовавшаяся им идея об имамате Мухаммада ибн ал-Ханафии нашла продолжателей среди шиитов. Они получили общее наименование «кайсанитов», по имени начальника гвардии ал-Мухтара Абу Амра Кайсана. Кайсаниты, вслед за ал-Мухтаром, приписывали Мухаммаду ибн ал-Ханафии знание сокровенных тайн, хранившихся в роду Али, и на этом основании считали его преемником Али. После смерти Мухаммада ибн ал-Ханафии, решая вопрос о том, кто из его потомков более всего достоин прав на имамат, кайсаниты размежевались на несколько общин (которые, в свою очередь, стали сами дробиться на более мелкие объединения). Учение кайсанитов впоследствии обогатило догматику шиитского ислама и сыграло большую роль в идейной подготовке прихода к власти Аббасидов.
В противовес Ибн аз-Зубайру сирийские арабы провозгласили халифом Марвана I (684—685) — сына ал-Хакама, двоюродного брата Абу Суфьана. Его избрание было обставлено рядом условий, в частности, было оговорено, что после смерти Марвана власть перейдет к Халиду ибн Иазиду.
Марван захватил Дамаск и в сражении у Мардж Рахит разбил сирийских сторонников Ибн аз-Зубайра, что позволило ему стать хозяином положения в этой провинции Халифата. К концу 684 г. Марван захватил Египет, что еще больше укрепило его позиции. Поэтому по возвращении в Дамаск он объявил наследником своего сына Абд ал-Малика (685—705), положив таким образом начало второй ветви рода Омейядов — Марванидам.
Прежде всего новый халиф урегулировал отношения с Византией, поскольку одновременно с внутренними беспорядками сильно осложнилось положение на внешних границах. Византийцы изгнали арабов с Родоса, Крита и Кипра, а также разрушили базы арабского военного флота в Сирии, вернув себе тем самым господство в восточной части Средиземного моря. Арабов потеснили и в Малой Азии и даже в Сирии, где им пришлось отдать Антиохию. Летом 685 г. Абд ал-Малик был вынужден заключить крайне невыгодный для себя мирный договор с Константином IV, по которому халиф обязался платить византийскому императору по одной тысяче динаров, одному рабу и одному породистому коню за каждый день мира. В 687—688 гг. военные действия на византийско-арабской границе возобновились, но теперь успех сопутствовал арабам, которым удалось отбить Антиохию и дипломатическими средствами нейтрализовать союзников императора — мардаитов, укрепившихся в горных районах Сирии. Император Юстиниан И, вынужденный в это же время отражать натиск славян в Европе, пошел на заключение мира с Абд ал-Маликом. Арабы продолжали выплачивать дань, но размер ее существенно сократился, а византийцы обязались переселить мардаитов из Сирии в Армению.
Сразу же после заключения мирного договора с Византией Абд ал-Малик повел борьбу с внутренней оппозицией. Прежде всего были взяты под контроль города Месопотамии — хорошо укрепленный центр кайситов Киркисия и находившиеся в руках соратников ал-Мухтара Нисибин и Мосул. В 691 г. после победы при Маскине под власть Абд ал-Малика перешли Куфа и Басра. В Мосуле, Куфе и Басре Абд ал-Малик поставил своих наместников.
Первый поход против хариджитов Аравии окончился неудачей. Однако хариджитское объединение Наджды ибн Амира вскоре распалось из-за внутренних трений, а сам Наджда был убит в начале 90-х годов VII в. Вскоре после его гибели в Аравию было послано большое войско, которое разгромило хариджитских вождей Бахрейна.
Наконец, весной 692 г. полководец Абд ал-Малика ал-Хаджадж ибн Юсуф ас-Сакафи начал осаду Мекки, где в мечети укрылся Ибн аз-Зубайр и его немногочисленные соратники. Осажденные страдали от недостатка продовольствия, и некоторые из них покинули Ибн аз-Зубайра, в том числе и его сын Абдаллах. 5 ноября 692 г., пытаясь вырваться из окружения, Ибн аз-Зубайр погиб в бою. С его кончиной раскол Халифата удалось ликвидировать. Оставалось лишь справиться с его приверженцами в Хорасане и покончить с укрепившимися в южных районах Ирана азракитами ал-Катари. С этой целью Абд ал-Малик в 694 г. поручил управление всеми восточными областями Халифата ал-Хаджаджу ибн Юсуфу (694—714), который за несколько лет восстановил там порядок, жестоко подавляя всякое сопротивление.
Расцвет халифата Омейядов
Восстановив единство государства, Абд ал-Малик провел кардинальные реформы, благодаря которым в Халифате сформировалась собственные фискальная и административная системы. Все делопроизводство в канцеляриях было переведено на арабский язык. До этого в бывших византийских провинциях, особенно в Египте и Сирии, обходились услугами перешедших на службу к арабам прежних чиновников, пользовавшихся привычным для них греческим, сирийским или коптским языками, а в иранских провинциях — среднеперсидским. Это мероприятие привело к повсеместной замене старого чиновничества на арабское.
Завоевав бывшие византийские провинции, арабы сохранили прежние типы монет (византийскую золотую номисму и сасанидскую серебряную драхму), лишь добавив к ним (и то не сразу) арабские прокламационные надписи. Взамен прежних монет в 90-е годы VII в. был начат выпуск монет нового образца с арабской легендой — золотых динаров, серебряных дирхемов и медных фельсов. Правом выпуска монеты обладал только сам халиф.
В царствование Абд ал-Малика по всему Халифату появились почтовые станции, были измерены дороги и поставлены милевые камни. Начальник почты (сахиб ал-барид) не зависел от наместника и по совместительству выполнял функции тайной полиции.
Абд ал-Малик всячески возвеличивал Иерусалим — историческую столицу древней Палестины, священный город иудеев и христиан — и даже пытался перенести туда из Мекки центр паломничества. При нем в Иерусалиме в 686—691 гг. была воздвигнута монументальная купольная мечеть Куббат ас-Сахра («Купол скалы»), которая должна была стать архитектурной доминантой города и символом величия ислама. Мечеть построили над скалой, где, по библейскому преданию, Авраам собирался принести в жертву своего сына Исаака и где находилась святая святых первого и второго Иерусалимского храма. В мусульманской традиции с этим местом связывается ночное путешествие Мухаммада и его вознесение на небеса.
Окончание гражданской войны позволило Абд ал-Малику возобновить активную внешнюю политику. Опираясь на созданные еще при Муавии I военные базы в Мерве и Кайруане, сын Абд ал-Малика ал-Валид I (705—715), все годы правления которого прошли в непрерывных войнах со всеми соседями Халифата, расширил пределы государства.
На Востоке был завоеван Мавераннахр («Заречье»; арабское название междуречья Аму— и Сырдарьи), Ферганский и Ташкентский оазисы, Белуджистан и Синд. С хорезмшахом в 712 г. был заключен договор, по которому тот обязался платить дань. На западе к началу VIII в. был завоеван весь Магриб, а к концу первого десятилетия VIII в. отряды мусульман, усиленные принявшими ислам берберами, под командованием мавали Мусы ибн Нусайра вышли к побережью Атлантического океана и выбили византийцев из Сеуты.
В 710 г. с помощью перешедшего на сторону мусульман византийского наместника Сеуты Юлиана мусульманский отряд предпринял успешную вылазку на Пиренейский п-ов и вернулся обратно с большой добычей. В следующем году около 7 тыс. мусульманских воинов высадились на побережье близ Гибралтара. Отрядом командовал бербер, клиент Мусы ибн Нусайра, Тарик ибн Зийад (название «Гибралтар» происходит от его имени: араб. Джабал Тарик — «Гора Тарика»). Мусульмане обосновались в районе совр. Альхесираса и в первой же битве в долине р. Рио-Барбате нанесли поражение вестготскому королю Родерику. В 712 г. в Испанию из Африки переправился еще один отряд мусульман, которым командовал Муса ибн Нусайр. За какие-нибудь три года мусульмане покорили всю Испанию, без особого труда подавляя локальное сопротивление. На завоеванной территории, которая получила арабское название «ал-Андалус», мусульмане создали свой административный аппарат. Столицей мусульманской Испании первоначально была Севилья, а с 717 г. — Кордова. Для того чтобы сделать управление новыми землями более оперативным, правителя ал-Андалуса назначал не непосредственно халиф, а его наместник Ифрикии, чья резиденция располагалась в Кайруане.
В 718 г. арабы преодолели Пиренейские горы, а в 720 г. захватили Нарбонн, превратив его в свою базу для новых экспедиций. В течение следующего десятилетия под власть арабов перешли Ним, Каркассон и Бордо. Дальнейшее продвижение мусульман в глубь Европы было остановлено Карлом Мартеллом, который нанес арабам поражение при Пуатье (октябрь 732 г.) и в 738 г. отбил у них Арль и Авиньон (захваченные мусульманами в 734 г.). Под нажимом франков арабы в конце концов оставили территории к северу от Пиренеев, но в Испании закрепились надолго — вплоть до XV в.
В 717—718 гг. арабский полководец Маслама ибн Абд ал-Малик предпринял попытку захватить Константинополь. В 717 г. мусульмане дошли до Абидоса на Геллеспонте, переправились через него на европейский берег и начали осаду византийской столицы. К ним подошел также арабский флот, состоявший, по сообщениям византийских историков, из 1800 судов, однако византийцы с помощью «греческого огня» сожгли его. Суровая зима 717/718 г. и сопутствующий ей голод и эпидемии вынудили арабские войска в 718 г. уйти от Константинополя.