Allt började med fiskarbönderna som bosatte sig i den gamla bykärnan vid den skyddade viken, Byviken, som idag kallas Sommarhamn. Förvandlingen till dagens tätbebyggda ort började när Stavsnäs fick ångbåtsförbindelser 1865. Förbättringarna av vägnätet gjorde det lättare för fler att bosätta sig permanent. Idag har Stavsnäs by omkring 400 invånare.