Prestegarden låg i gamal tid på nordsida av Lærdalselva, og garden Tønjum blei trulig prestegard allereie tidleg på 1600-talet. Hovudbygget på prestegarden blei bygd kring år 1826 og i rokokkostil. Det skjedde under ledelse av premierløytnant Rumohr og sannsynligvis av materialer fra den gamle prestegarden på Øygarden ( de svære dimensjonar på 11 tommers stokkebredde tyder på det) og forslag frå sogneprest U.F. Boyesen. Grunnplanen viste gang med soveværelser, bispestue og gjesteværelse i nord blant annet. Taket som opprinneleg hadde avvalmede gavlspisser ble endret til den formen det har i dag i 1870. I 1902 ble dei småruta vinduene endret, men under en stor restaurering i 2017 kom dei smaåruta vindaugene tilbake og heile huset blei malt. Fleire innvendige bygningsdetaljar er tatt vare på i huset.
Då Lærdal sentrum utvikla seg som ein liten tettstad, blei prestegarden meir liggande utanfor og meir isolert på Tønjum. Prestebustaden har gjennom åra blitt oppgradert etter standard krav, men er freda saman med seks andre hus på garden. Desse husa på prestegardstunet gir tilsaman eit bygningsmiljø med stor antikvarisk verd.
Dei freda bygningene er:
- Hovudbygning frå 1826
- Borgstove frå 1800-talet, lavt og smalt bygg som ligg på ei høgde.
- Stabbur, torvtekt frå 1800-talet
- Vedskjulet ved sida av stabburet er ein trebygning på ei høgd.
- Vognskjul
- Kornburet ligg utafor husrekkja og er reist på 1800-talet.
- Driftsbygning frå 1800-talet
Langs vestsida til prestegardshagen gjekk den gamle kongevegen, som hadde steingardar på kvar side. Prestegarden har vore ein geistleg møteplass i gamal tid.
Gardsbruket er eigd av OVF. Det forvaltes som eit forpaktningsbruk.