Lardal prestegård ligger rundt 300 meter sørøst for Svarstad kirke, som ble bygget omkring 1650. Både kirkestedet og prestegården har tradisjoner tilbake til middelalderen. Hovedbygningen skal være oppført rundt 1800 og i 1829 fikk bygget dagens fasade. Inngangspartiene er av nyere dato. Huset er et toetasjes laftet tømmerhus med saltak og stående kledning.
Prestegården har et eget hagehus i reisverk som antagelig ble bygget mellom 1815-1827. Hagehuset er et av de få som er bevart av denne typen. Hovedbygningen og hagehuset ble fredet i 1991.
Prestegårdsbebyggelsen representerer en viktig del av miljøet nær Svarstad kirke og har høy kirkelig kulturverdi.