Les remparts qui enserrent la ville ancienne d’Asilah furent construits à la fin du XVe siècle par les Portugais. Trois portes monumentales et un passage discret permettent d’entrer dans la médina.

Durant le moussem culturel international qui porte le nom de la ville blanche, tous les murs de la médina se recouvrent de fresques et de peintures faits par des artistes locaux et du monde entier. Depuis 1972, grâce à l’effort de l’association El Mouhit, elle devient officiellement la ville des Arts et des Cultures du Maroc. La ville moderne, construite sous le protectorat Espagnol, a conservé de son côté sa forte empreinte andalouse.

Dans un site dénudé, se détachant sur un arrière fond de collines, le cromlech de M’Soura est situé à 25 km d’Asilah en direction de Larache. Près de 170 menhirs font cercle autour d’un tumulus d’environ 55 mètres de diamètre maintes fois fouillé. Si pour les historiens il s’agit d’un site funéraire d’un important personnage qui aurait vécu entre les périodes puniques et romaines, la légende voudrait que le géant Antée, fils de Neptune et de la Terre, soit enseveli sur ce site, après qu’Hercule eu réussi à le terrasser.

Bâtie sur un site punique, Zilis (Asilah) comptait, au même titre que Tingis (Tanger), parmi les villes du royaume de Maurétanie Tingitane. Une trentaine d’année avant J.-C., Octave, le futur empereur Auguste, fit de Zilis une colonie romaine.
Avec la conquête arabe, centre d’une principauté Idrisside, la ville subit plusieurs assauts des Normands avant de passer, en 972, aux mains des Omeyyades de Cordoue dans le cadre de la conquête islamique.
En 1471, une flotte portugaise de 500 navires porteurs de 30000 hommes enlève Asilah.
Les Espagnols succèderont ensuite aux Portugais qui ont été contraints de se retirer après la fameuse bataille des Trois Rois. Cette bataille du 4 août 1578 se solda par la mort du roi du Portugal, ainsi que celle des deux Sultans, Abdelmalek et El Moutaouakil.
Ce n’est qu’à la fin du XVIIe siècle que le sultan Moulay Ismaïl leur reprend la cité. La ville reste alors marocaine jusqu’à l’installation du protectorat espagnol.

Durant cette période, la ville connaîtra plusieurs évènements troublants provoqués par Raissouni, dit le Brigand. La stratégie de ce dernier consistait à enlever des personnalités étrangères (Walter Harris) puis à les libérer en échange de coquettes rançons, devenant peu à peu un personnage redouté, au point de recevoir du sultan, en 1908, le titre de pacha d’Asilah. Pendant plus de trente ans, il sema la terreur dans les régions de Tanger et Tétouan. Mais, ayant soutenu les Allemands durant la Première Guerre Mondiale, la victoire des Alliés précipita sa chute et en 1925, il fut capturé par Abdelkrim el Khattabi. Asilah restera désormais sous le protectorat espagnol jusqu’à l’indépendance du Maroc en 1956.
La médina renferme encore les vestiges témoins de ces envahisseurs successifs. La ville a également connu une grande période de cohabitation exemplaire entre Musulmans, Chrétiens et Juifs dont l'église et la synagogue en sont les témoignages.