Fu Ferdinando IV, re di Napoli, a deciderne la costruzione, destinandolo ad ospitare gli ergastolani; dette incarico all'architetto Francesco Carpi (autore, tra l'altro, di alcuni edifici del porto di Ponza) di progettare un ergastolo modello. Fu ultimato il 26 settembre del 1795 e tra i primi detenuti si dice vi sia stato proprio lo stesso progettista, incarcerato da Ferdinando per divergenze politiche. Il carcere non era destinato solo ai delinquenti comuni, ma ospitò numerosi prigionieri politici. Già nel 1799 vi furono reclusi alcuni partecipanti ai moti rivoluzionari di Napoli e nel 1900 vi fu imprigionato (e in seguito probabilmente assassinato) Gaetano Bresci, l'anarchico che aveva ucciso re Umberto I. Durante il ventennio fascista vi furono reclusi – tra gli altri – Altiero Spinelli e il futuro presidente della Repubblica Sandro Pertini. Altiero Spinelli, promotore del Movimento Federalista Europeo nel 1943 e come tale considerato uno dei padri dell'Unione europea, proprio durante la sua reclusione sull'isola scrisse assieme ad Ernesto Rossi ed Eugenio Colorni il Manifesto di Ventotene (1941). Il carcere di Santo Stefano venne chiuso nel 1965 e da allora le sue vaste strutture sono rimaste inutilizzate.
