Di notevole interesse storico riveste la Chiesa di Santa Maria in Arce (Madonna della Rocca) ultimo resto del castello dove nacque Papa Alessandro IV; le sue pareti sono parzialmente affrescate con dipinti del XII secolo.
Esigui sono i resti del Castello fatto edificare dall'abate Giovanni V, lo stesso fu luogo di contese tra trebani, benedettini e barbari ma la stessa posizione svettante sulla vallata, mostra ancora oggi quanto doveva essere difficile la conquista; del "Castello" è rimasta solo la chiesetta, nel cui interno vengono custoditi l'immagine in terra cotta della Madonna con il Bambino e sulle pareti affreschi con pitture del XIV secolo. La chiesetta, che di fatto era l'antica cappella del Castello, è stata ampliata negli anni trenta del secolo scorso, resa così più spaziosa e capiente, accoglie più comodamente cittadini residenti e non residenti nella festa della Natività della Madonna, che si celebra l'8 settembre di ogni anno.
