Huset ble oppført 1812-15 av skipsreder og handelsmann Morten Michael Kallevig som privatbolig for Kallevigfamilien, kontorer og lagerplass for handelsbedriften. Bygningen er et av landets største trepaleer, bygget i empirestil. Eiendommen ble overtatt av kommunen i 1844, og fungerte som byens rådhus til 2005. Stor portrettsamling, festsaler og landskapsmalerier. Huset ble fredet i 1924.