På Sejerø havn, står det sorte hus.  Det er en lille charmerende havnebygning der med sine skæve vinkler træ lås på døren og malet med tjære, vidner om at det er meget gammel. Hvor gammel er der faktisk ingen der ved, for skønt fiskere igennem tiden har indgraveret deres navn i døren er der ingen som har skrevet årstallet for bygningens opførelse ind i brædderne, dog ved man at Sejerø havn blev konstrueret i 1839 og at det sorte hus er med på flere billeder taget sidst i attenhundrede tallet, 1850érne er nok det bedste bud, for her blev post forbindelsen oprettet og man mener at det sorte hus oprindeligt blev bygget som pakhus som postvæsenet.

i 2015 blev det sorte hus lavet om til et lokalt fiskeri museum, som i dag fortæller om Sejerø havn og fiskerliv. Det er altid åbent og bestemt et besøg værd.