Fu costruito nel 1650 da Camillo Pamphili nipote di Innocenzo X. Nell'area esistevano piccole case intorno alla piazza. L' edificio venne elaborato con disposizione parallela al mare, in modo che si affacciasse sullo stretto spazio pubblico esistente così da connettersi sulle dimensioni ridotte dello spazio, pur mantenendo l'aspetto di palazzo nobiliare. Al suo interno sono ancora visibili affreschi di Pier Francesco Mola (1612- 1666).