Byggverket er i pusset teglstein, har 450 sitteplasser og er kjent for sine malerier og rike inventar.
Opprinnelig har både skip og kor i kirken hatt tregulv, men arkitekt Christian Henrik Grosch sørget for å endre både kirkens eksteriør og interiør midt på 1800-tallet. Utvendige støttepilarer ble bygget for å forsterke murene, takkonstruksjonene ble fornyet og kirken fikk prekestol.
Døpefonten i marmor og prekestolen av tre kan spesielt nevnes av inventar.
Maleriet La de små barn komme til meg, med en beregnet verdi på 20 millioner kroner, ble gitt i gave av stattholder Ulrik Frederik Gyldenløve til Larvik kirke rundt 1680.
Kirken ble restaurert så sent som i 1988.