Il paese sorge a 651 metri di altezza sulla sommità di una cima delle propaggini meridionali del gruppo montuoso dominato dal monte Morra. La testimonianza del primo popolamento dell'area si deve all'individuazione di una triplice cinta di muraria e tracce di capanne sul monte Morra, riferibili a un abitato su altura datato alla fine dell'età del Bronzo. A partire dalla tarda età Repubblicana si assiste all'intensificarsi della costruzione di ville e di impianti rustici dotati di cisterne per l'approvvigionamento idrico, identificabili nei ruderi posti in località prossime al moderno centro abitato. Nei documenti antichi (anno 945) il centro viene identificato come fondum lunula cum ecclesia S. Paoli, toponimo che si ritrova in una bolla di Gregorio VII del 1081 che sancisce un controverso passaggio di proprietà del fundus, ormai divenuto luogo fortificato individuato come Castellum Sancti Pauli in lana, al Monastero benedettino di S. Paolo in Roma. Gli Orsini ottennero il feudo di San Polo, con Torrita e Marcellina, e la proprietà del castello nel 1429, momento in cui le nuove opere di fortificazione cancellarono l'antica struttura medievale della rocca per renderla dimora dei signori di Tagliacozzo. Nello stesso momento viene riadattata la cinta fortificata di San Polo con il solo scopo di aumentare le strutture difensive lasciandone inalterato lo schema originario. Nel 1558 la signoria di San Polo passa con tutti i beni annessi sotto la proprietà del Cardinale Pier Donato Cesi. L'opera di ammodernamento eseguita a San Polo si deve all'attenzione del cardinale Federico, che escluse però interventi strutturali sulla Rocca. Nel Nuovo Statuto, fatto redigere prima della sua morte, scompare la dicitura castello che viene sostituita da Palazzo Baronale. Nel 1678, con la fine del principato dei Cesi, la proprietà del palazzo baronale e delle terre annesse passa alla famiglia Borghese.