Museet ligger ut mot Grisefjorden i Flekkefjord sentrum og inngår som en naturlig del av det opprinnelige miljøet i Øvrebyen. I hovedbygningen fra 1720-tallet kan man se tekstiler, dekketøy, møbler og annet interiør fra 1700- til 1900-tallet. I Utstillingssalen i 1. etasje i Sjøbuene vises kunst av maleren Lars Kristian Gulbrandsen. Utstillingsalen i 2. etg. i sjøbuene skifter flere ganger i året slik at det alltid er noe nytt å se på Vest-Agder-museet avd Flekkefjord (Flekkefjord Museum).

Kart