Borre prestegård ligger svært vakkert til, like nordøst for Borre kirke. I tillegg ligger prestegården nær til Borrehaugene og gravhaugene til Ynglingætten.
Den nåværende hovedbygningen er en toetasjes laftet tømmerbygning som antagelig ble oppført i sogneprest Søren Sigvardts tid, rundt 1769-70. Forpakterboligen ligger som en sidebygning på tunet og skal være fra samme periode.
Tunet på Borre prestegård ligger innenfor det 400 m2 store området ved Borrehaugene som ble fredet i 1990. Vestfold fylkeskommune har ansvar for forvaltningen av det freda området i samråd med Universitetet i Oslo. Området, kirken og prestegården ligger på er et av de viktigste arkeologiske områdene i landet. Borre kan knyttes til Norges sentrale vikingetid og til store viktig funn med internasjonal betydning som Oseberg og Gogstadskipene sørligere i regionen.
Gårdsbruket eies av OVF og forvaltes i et langsiktig og helhetlig perspektiv, som et forpaktningsbruk. Alle bygningene på prestegården representerer en viktig prestegårdshistorie i tillegg til kirkens og områdets egen viktige forhistorie.