Prestegarden ved Ullensvang kyrkja har ein lang kontinuitet og blei fyrste gong nevnt i 1309. I 1806 raste ein storm i Ullensvang som ødela samtlige bygningar og knuste inventaret. Blant annet blei kart, bøker, apparater og medikamenter øydelagde. Difor var potetpresten Peder Harboe Hertzberg, oppteken av å sikre framtida til prestegarden og hadde ein plan om å reise en samanhengende, ein - etasjes bygning, sjølv om det ville gå med fleire takstein.
Prestebustaden som står der i dag blei reist i 1866 under sokneprest Hans Irgens. Det er ei lafta tømmerbygning på ein og ein halv etasje. Planløysinga liknar typeteikningane til prestegardar på landet som arkitekt H. D. F. Linstow og landbruksreformator Jakob Sverdrup utforma. På fasaden mot vest har bygninga ein veranda i glas som er eit nyare tilbygg frå 1900-talet.
Prestebustaden har totalt fire freda bygningar:
- Ullensvang prestebustad frå 1866
- Borgstua frå før 1630
- Stabbur frå ca. 1600
- Naust utdatert
Ullensvang prestegard har ei lang og interessant tidslinje. Dei freda bygningane på tunet viser den lokale byggeskikken og planløysinga på ein embetsmannsgard. Det er ei rik historie knytta til prestegarden i Lofthus og den rollen prestane har spela for utvikla av fruktdyrkinga i Hardanger.
I 2019-2020 blei prestegarden ved Sørfjorden totalrenovert av OVF.