Ai piedi del promontorio, il paese è raccolto in una cerchia di mura che poggiano per tre parti sulla Cinta ciclopica del VI sec. a.C. All'interno si può ammirare la Torre dei Templari con l'annesso castello baronale che fu dei Frangipane, dei Caetani, degli Orsini e dei Ruspoli. Il centro storico è caratterizzato da vicoli e stradine. A poca distanza dal porto di San Felice si trova la grotta Guattari, dove nel 1939 sono stati ritrovati il cranio di un uomo di Neanderthal datato a 51.000 anni fa col metodo dell'Uranio 51 (attualmente esposto al Museo Pigorini di Roma), e pure utensili in pietra e ossa di mammiferi.
