Byns historia börjar redan från 800-talet då vikingarna seglade via Loviksund, Tvärminne till Novgorod. En dansk farledsbeskrivning från 1200-talet är det äldsta skriftliga dokumentet om Tvärminne.
Vägen till kyrkan blev kortare 1865 då sockengränserna ändras så att Tvärminne blev en del av Ekenäs landsförsamling istället för Pojo. Tvärminne fick folkskola år 1889.Professor J. A. Palmén inhandlade det s.k. Krogartorpet för att starta ett sommarlaboratorium och de första naturvetarna inledde sina forskningar 1902. Numera fungerar den zoologiska stationen i moderna utrymmen året runt.
I början av 1900 var byn konstnärernas sommarkoloni. Konstnärer som fann vägen till Tvärminne var bl.a. Jean Sibelius, Amelie Lundahl, Kasimir Leino, Hjalmar Procopé, Venny Soldan och Juhani Aho.
Havsområdets mest betydelsefulla lotsstation verkade på Sjöbjörkskär ända från 1700-talet och många invånare fick sin utkomst från lotsuppdrag fram till 1930-talet.
År 1977 anslöts Tvärminne by till Hangö och tvärminneborna blev stadsbor. Staden lovade utveckla byn men småningom försvann även den sista servicen när skolan drogs in 1993. Byn hade avfolkats och led av tomtbrist medan Koverhar fastighetsbolag ägde marken. I slutet av 1980-talet lyckades staden köpa de centrala delarna av byn och planerade ca 100 egnahemstomter i byn.
Sedan dess har nya invånare kommit till byn tämligen långsamt men byn håller på att repa sig och Tvärminne ungdoms- och hembygdsförening som börjat sitt andra århundrade är full av tillförsikt för att intresset för att flytta till Tvärminne skall öka.