Sem prestegård ligger på Kongseik i Tønsberg. Slagen kirke ligger på en høyde 700 meter lenger borte. Gården og kirken har visuell kontakt fra presteboligens hovedfasade mot hagen. Presteboligen er adskilt fra gårdsbruket av en traffikert vei. Presteboligen er mindre i øyenfallende på grunn av støyskjermen som er oppført tett på hovedbygningen og den nære og traffikerte veien.
Presteboligen har et tydelig særpreg og er satt sammen av to bygningsvolum. Hovedfløyen fra 1827 er en laftet tømmerbygning med halvvalmet tak. I 1835 ble det oppført et enetasjes tilbygg med saltak. Byggets hageside har symmetrisk inndelte vinduer og en staselig trapp som leder til hagen. I hagen er det flere gravhauger, steinsettinger og store trær.
Forpaktningsbruk
I 2012 gjorde OVF vedlikeholds- og investeringstiltak på Sem prestegårds forpaktningsbruk som driver med intensiv griseproduksjon.