II palazzo baronale è forse il più antico elemento edilizio monumentale dell'abitato di Nettuno.
Punto fortificato, forse palazzo fortezza, era l'abitazione dei Colonna signori di Nettuno. Fu varie volte restaurato ed adeguato alle esigenze di vita.