Um das Zusammenleben von Juden und Muslimen in Andalusien rankt sich eine romantische Legende, die erst sehr spät erfunden wurde. Jüdische Intellektuelle waren im ausgehenden 19. und beginnenden 20. Jahrhundert entsetzt über den zunehmenden aggressiven Antisemitismus in Europa und suchten in der Geschichte nach Beispielen, die belegen sollten, dass Juden mit den Angehörigen anderer Religionen friedlich zusammenleben können. Sie stießen auf die Geschichte Andalusiens und romantisierten diese Blütezeit. Muslime, Christen und Juden hätten acht Jahrhunderte lang in Andalusien friedlich und gleichberechtigt miteinander gelebt und eine Oase der Toleranz geschaffen, die jene Hochkultur erst ermöglicht habe.
In Andalusien wie auch in Bagdad galten im 9. Jahrhundert die Regeln der Scharia nicht, Alkohol wurde öffentlich getrunken, Gesang, Tanz und erotische Literatur gehörten zum Alltag. Juden durften hohe Ämter bekleiden und waren in der Politik und in der Armee tätig. Im 11. Jahrhundert wurde der jüdische Dichter und Theologe Samuel Ibn Naghrillah Großwesir, also quasi Regierungschef, am Hof des Berberkönigs Habbus in Granada. Als Ibn Naghrillah auch zum Oberbefehlshaber der Armee ernannt wurde, kam es zum Widerstand unter den muslimischen Theologen in Andalusien. Der sonst eher moderate Geistliche Ibn Hazm sah durch diese Ernennung die Machtposition des Islam auf der Iberischen Halbinsel in Gefahr. Seine Äußerungen stießen vor allem bei muslimischen Migranten aus Nordafrika auf offene Ohren, die der fundamentalistischen Theologie von Ibn Hanbal folgten. Die Zuzügler hetzten gegen Juden, Christen und Muslime, die nicht nach der Scharia lebten.
Als nach dem Tod von Samuel Ibn Naghrillah dessen Sohn Joseph Großwesir wurde, forderten muslimische Theologen die Massen auf, Joseph mit Gewalt abzusetzen. Aufgebrachte religiöse Eiferer wüteten in den jüdischen Vierteln von Granada, zerstörten Häuser und töteten jeden Juden, den sie sahen. Das Pogrom kostete 4000 Juden das Leben, auch das des Großwesirs Joseph Ibn Naghrillah.
Im 12. Jahrhundert eroberten die fundamentalistischen Almohaden weite Teile Andalusiens. Die muslimischen Berber veränderten das Leben in der vermeintlichen Oase der Toleranz und des Wohlstands. Tanz, Musik und das öffentliche Konsumieren von Alkohol wurden verboten. Die dhimmi-Gesetze, die Mohamed einst eingeführt hatte, um das Zusammenleben von Muslimen und Nicht-Muslimen zu regeln, wurden verschärft. Zwar war Christen und Juden nach wie vor religiöse Freiheit garantiert, doch sie durften nicht mehr auf Pferden reiten, keine hohen Häuser bauen, keine wichtigen Ämter besetzen und mussten auf ihrer Kleidung ein Kennzeichen anbringen, das Auskunft über ihre religiöse Identität gab. Die Verschärfung hatte zur Folge, dass viele Juden und Christen zum Islam übertraten.
Philosophie wurde mit Gotteslästerung gleichgesetzt und unter Strafe gestellt. In Córdoba wurden die Bücher des großen Philosophen Ibn Rushd (Averroës) verbrannt. Der Verfasser, der die Werke des Aristoteles kommentiert und zur Entstehung der christlichen Scholastik beigetragen hatte, wurde von den orthodoxen islamischen Gelehrten in Andalusien zum Häretiker erklärt und ins Exil geschickt. Das gleiche Schicksal ereilte auch den jüdischen Philosophen Moses Ben Maimonides, der vor den wütenden Muslimen zunächst nach Fes, dann nach Kairo fliehen musste. Wie er verließen viele Juden Andalusien, andere mussten zum Islam konvertieren.
Fast zeitgleich kämpften Muslime auf der anderen Seite des Mittelmeers gegen die Kreuzritter. Bis dahin war Jerusalem nur eine kleine Stadt gewesen, die kaum Beachtung in der islamischen Geschichte gefunden hatte. Doch als christliche Eroberer Jerusalem einnahmen und Massen von Muslimen und Juden hinrichteten, wurde Jerusalem plötzlich zum Brennpunkt, zum Symbol des Kampfes gegen die Feinde des Islam. Legenden wurden ausgegraben, wie jene über die nächtliche Reise des Propheten Mohamed von Mekka nach Jerusalem, um die Heiligkeit des Kampfes gegen die Christen zu betonen. Im Lauf der Geschichte mochten die Feinde der Muslime wechseln, doch der Mythos von Jerusalem blieb.
Ende des 15. Jahrhunderts war die Reconquista weit fortgeschritten. Die Christen konnten fast alle muslimischen Enklaven in Andalusien zurückerobern. 1480 begann dann sowohl die Massenvertreibung von Juden und Muslimen als auch die Inquisition gegen Konvertiten. Zwischen 1492 und 1526 wurde Andalusien beinahe moslem- und judenfrei. Beide Gruppen ergriffen die Flucht. Spanische Juden wurden in Nordafrika herzlich empfangen, da sie wegen ihres Wissens ein hohes Ansehen genossen. Andere ließen sich im Osmanischen Reich nieder. Während am Hof des Sultans jüdische Ärzte, Gelehrte und Bankiers eine wichtige Rolle spielten, galten die übrigen Juden als Bürger zweiter Klasse. Erst Mitte des 19. Jahrhunderts wurden die dhimmi-Gesetze im Osmanischen Reich abgeschafft, doch die Gleichberechtigung bestand nur auf dem Papier. In Frankreich dagegen waren Juden bereits nach der Französischen Revolution als gleichwertige Bürger anerkannt worden.
Als das Osmanische Reich immer schwächer wurde, fielen ganze Territorien an die Großmächte Frankreich und Großbritannien. Nordafrika geriet unter französische, Ägypten, Sudan, Irak und Palästina unter britische Kolonialherrschaft. Die Araber fühlten sich im Würgegriff der überlegenen Europäer. Die Juden, die inzwischen zahlreich nach Europa geströmt waren, sahen in der europäischen Aufklärung dagegen eine Chance, sich zu emanzipieren und anerkannte Bürger zu werden. Die Muslime sahen darin eine Gefahr für ihre religiöse Identität und mauerten sich ein.
Der Mythos von Andalusien als Hort von Toleranz und gegenseitiger Befruchtung der arabischen und der jüdischen Kultur hatte nur so lange Bestand, wie die Machtposition der arabischen Eroberer unangefochten war. Es lag lange im wirtschaftlichen Interesse der Muslime, dass Juden und Christen ihren Glauben behielten, denn sie zahlten deutlich mehr Steuern als Muslime. Noch vier Jahrhunderte nach der islamischen Eroberung waren rund 60 Prozent aller Syrer und Ägypter christlichen Glaubens. Zu dramatischen Phasen der Rückentwicklung kam es, als die islamische Welt zunächst von den Kreuzrittern, später dann von den Mongolen überrollt wurde und als schließlich das Kalifat unterging. Wer mit dem Rücken zur Wand steht, schlägt um sich.