Il palazzo ducale di Genzano è il monumento più significativo della città, non soltanto per i valori architettonici di cui è testimone e che presentano non pochi motivi di interesse per la storia dell'architettura del settecento romano, ma anche perché ha giocato un ruolo fondamentale nello sviluppo di questo centro urbano dei Castelli Romani.
L'evoluzione storica di questo edificio coincide con un processo di progressiva differenziazione dall'originario borgo medievale fortificato e da quella condizione di continuità quasi organica con il luogo, fino ad imporsi come espressione di un nuovo potere civile che si insedia nel territorio instaurando nuove leggi.
Da recinto fortificato, introverso ed arcigno, a residenza gentilizia, fulcro dell'ampia sistemazione a giardino del territorio circostante rappresentata dalle olmate.
Questa parabola storica inizia con il formarsi del nucleo abitativo medievale, raccolto intorno alla chiesa cistercense di S. Maria della Cima. Fino al tempo dei Cesarini, che acquistarono il borgo nel 1564, il palazzo era collocato alla sinistra dell'attuale portale d'ingresso, sfruttando le strutture del recinto fortificato.
È probabile che l'originario nucleo del palazzo si presentasse come semplice articolazione del recinto fortificato, privo di una specifica individualità, prevalentemente aperto verso l'interno del borgo chiuso verso l'esterno. A fianco del vecchio palazzo, in corrispondenza dell'attuale portale, era situata la porta principale al borgo fortificato. L'aspetto attuale è però dovuto principalmente agli interventi di ristrutturazione ed ampliamento, voluti dal duca Gaetano Sforza-Cesarini, che vanno dal 1713 al 1730. A questo periodo di tempo risale, infatti, la nuova facciata che, mediante l'aggiunta di un ulteriore corpo di fabbrica verso il lago, rende l'edificio simmetrico rispetto all'antico portale. Il fabbricato viene inoltre sopraelevato di un piano, accentuando così la sproporzione rispetto alle casette contigue. Il principale artefice di questa operazione è l'architetto romano Ludovico Gregorini (1661 – 1723), avvicendato, dopo la sua morte, dal figlio Domenico (1692 – 1777). Il complesso del portale, fino alla finestra sovrastante del piano nobile, fu invece opera di Domenico Michele Magni nel 1714-15. Esso presenta l'interessante particolarità della "sghembatura", per simulare una visione perpendicolare con la strada prospiciente l'olmata, essendo il palazzo fuori squadro di circa 7 gradi.
Il complesso del portale e delle due finestre sovrastanti conferiscono una spinta ascensionale all'intera facciata, ottenuta mediante un restringimento progressivo degli elementi verticali più importanti dei tre livelli, colonne del portale, colonne del balcone e stipiti della finestra del secondo piano.
La facciata principale si presenta come un ennesimo rifacimento del palazzo Farnese a Roma, con l'introduzione di motivi di cui possiamo rintracciare l'origine nel tardo '500 romano. Caratteristica saliente è il particolare ritmo delle finestre, decrescente verso i lati estremi, cosa che determina una accelerazione prospettica verso l'esterno e che fa da contrappunto al verticalismo del complesso del portale. Si ha quindi l'impressione di trovarsi davanti ad una superficie curvata con la convessità verso chi guarda. La facciata settecentesca del palazzo Sforza-Cesarini è, nel complesso, un esempio di quella tendenza architettonica affermatasi a Roma sul finire del '600 e inizio del '700, in un periodo di recupero della tradizione in senso classicista, mitigata da un atteggiamento eclettico e in cui confluiscono gli elementi di un repertorio barocco e tardorinascimentale.
Il prospetto posteriore, verso il borgo medievale, è dovuto, invece, agli interventi, datati tra il 1846 ed il 1857, su disegno di Augusto Lanciani, per volere del Duca Lorenzo Sforza-Cesarini. In questa occasione oltre a ristrutturare gli interni, realizzare l'ampliamento verso Genzano vecchio e rifare la facciata posteriore, si sistemò con gusto romantico la magnifica villa sul lago, lodata da molte guide dell'800 come giardino "amenissimo", ricco di specie floreali e di sentieri che agevolmente, nonostante la rilevante acclività, conducevano sino alle sponde del lago di Nemi.