Selje prestebustad lå tidlegare på sjølve øya Selje, men blei flytta til fastlandet, til eigedomen Hove, då reformasjonen kom. Hovudbygninga som står på på plassen i dag blei reist mellom 1782-84 av almugen. Tunet på prestegarden har mange hus som var vanleg å ha på ein vestlandsgard og ein embetssgard var ikkje noko unnatak. I 1967 vart det framlaus seks freda hus på tunet, selv om låven då var borte. I 2017 blei hovedhuset utvendig rehabilitert.
Dei freda bygningene er:
- Hovedbustaden 1782-1784
- Borgstua frå 1780-åra
- Skolen, frå slutten av 1800-talet
- Eldhuset frå 1583-87
- Stabbur frå 1800-talet
- Vedskjulet udatert
Eldstova er ein av dei aller eldste husa på prestegarden og har vore brukt som grovkjøkken. Det er teke prøver av den unike takkonstruksjonen i dette sjeldne grindverket. Det er datert til 1583-1587. Noe som inneberer at dette kan vera det fyste huset som blei reist på Hove, på den nye plassen til prestegarden etter at han blei blei fråflytta frå øya. Eldhuset vil i 2018 verte ferdig restaurert. Frå 2021 vil Selje prestegard bli eit regionalt pilegrimssenter for Vestlandet.