Genom ingifte kom ön till Henrik Persson Måneskölds ägo, och det var han som ändrade namnet på ön till Henriksholm – från det föga fantasieggande Öen. Man tror att han var den förste i modern tid som hade sin fasta bostad på ön. Under hans tid uppfördes även den första herrgårdsbyggnaden. I början av 1800-talet står brukspatronen Gustav Wohlfart som ägare till Henriksholm, och han byggde den nuvarande huvudbyggnaden, efter det att den gamla brunnit ned 1815. Arkitekt var major Edelswärd.

1830 förenas Henriksholm med fastlandet genom en 330 meter lång träbro. Denna bro kom dock att förstöras av isen, och idag upprätthålls förbindelsen med fastlandet genom en färja..

1821 köps ön av bankdirektören och grosshandlaren Anders Fröding från Göteborg. Under hans tid förvandlas hela den södra tredjedelen av ön till en idyllisk och romantisk park med både grottor och murverk, och han byggde även till huvudbyggnaden med ett fyra våningar högt åttakantigt torn vid den norra gaveln, samt en utskjutande paviljong med en stor balkong vid den södra gaveln.

Efter denna ombyggnation kom huvudbyggnaden i folkmun att kallas slottet. 1830 förenas Henriksholm med fastlandet genom en 330 meter lång träbro, som dock ganska snabbt förstördes av isen. Idag upprätthålls förbindelsen med fastlandet genom en färja. En av gästerna på Henriksholm under denna tid var Viktor Rydberg, och det sägs att han lät den yttre miljön på Henriksholm stå modell för hans medeltidsroman Singoalla.

Anders Fröding överlåter 1863 Henriksholm till sin måg Ferdinand Palm. Hans yngsta dotter Gerda Palm föds på Henriksholm 1874; hon räknas idag som en av de största Dalslandskonstnärerna. 1874 förvärvade brukspatronen Adolf Unger Henriksholm, och delar av ön skulle komma att stanna inom den Ungerska släkten ända till 1992.

Unger lade ned mycket energi på att försöka bibehålla den vackra parken, och hans familj bodde i omgångar året om på ön, men under långa perioder tillbringade man endast sommarmånaderna och högtiderna på ön, och övrig tid i Stockholm. 1924 överlät Adolf Unger fastigheten på sina barn, och två år senare styckades den norra delen av ön, Önäbben, av från herrgården och övertogs av en dotter.

1929 såldes Herrgården av syskonen Unger, men Önäbben stannade kvar inom familjen Ungers ägo ända till 1992 då vi tog över. Önäbben har i över 100 år endast använts som sommarnöje, men herrgården var bebodd fram till 1993 då den nuvarande ägaren tog över fastigheten.

Den nuvarande ägaren till herrgården bedriver bland annat jord- och skogsbruk på ön.