Dagens kirke står på (gnr. 90=2090) Vestby og ble bygd i 1872. Den foregående kirken ble reist i 1617 til erstatning for en middelaldersk kirke. Disse stod få hundre meter lenger nord langs elva på (89=2089) Kvelde (Brendalsmo 1990:55). I 1398 ble prestbolet ført som prestbolæt a Berg alt og med skyldstørrelse (RB 46), rimligvis et bruk steint og reint av kirkestedsgården. Berg er et tapt navn (NG 363), trolig lå den under Kvelde. På 1570-tallet lå en tilsvarende stor bygselpart i Quelde til mensa ved Hedrum hovedkirke (St. 60), trolig identisk med det tidligere prestbolet. I opphavsgården Kvelde da kirken ble reist må, foruten Vestby og Kvelde, iregnes (dagens gnr. 86-88) Norkveld nordre, mellom og søndre, (90) Vestby og (91. 92) Sundby vestre og østre (jfr. NG 353). Utfra størrelsen bør denne opphavsgården kunne karakteriseres som en storenhet.