Diese Anlage wurde zwischen dem 16. und 17. Jahrhundert nicht nur mit einer Mauer und diversen Türmen befestigt, wie am Camp de l'Obra, an der Plaça de la Constitució, am Carrer Estret und am Carrer Baix, sondern ist auch höher als die beiden Kirchen. Der Grund für diese Befestigungen waren die regelmäßigen Piratenangriffe, die dafür sorgten, dass das Dorf im tiefen Tal entstand, das, wie sein Ortsname zeigt, von üppigen Bergen umgeben war. Im 18. Jahrhundert, mit dem Rückgang der Piratenüberfälle, ließen sich die Fischer aus Selva de Mar am Hafen (Port) nieder. Zur gleichen Zeit begann sich durch den wachsenden Wein- und Olivenanbau die Landschaft zu verändern.