Skjeberg prestegård ligger som nærmeste nabo til Skjeberg kirke. Prestegårdens hovedbygning, med øst-og vestfløy fra 1732, er fredet. Vestfløyen var opprinnelig en del av hovedbygningen, men ble i 1806 flyttet slik at den skulle stå i vinkel med nåværende hovedbygning/midtfløy. Østfløyen, som er eldst på prestegården, er ikke koblet fysisk til presteboligens vinkel-fløyer. Østbygget er OVFs forpakterbolig. På nedsiden av gårdsvei ligger den store driftsbygningen hvor svinefjøset er. Gårdsdriften forvaltes i et langsiktig og helhetlig perspektiv.
Prestegården ligger som et landemerke i landskapet og var et stoppested på den gamle ferdselsåren til Sverige. I 1597 kom biskop Jens Nilssøn på vistas, ridende sammen med sin skriver. Det berettes da at han fikk servert makrell og ellers overhørte sognebarna i bibelkunnskap. Noe som var en av hans viktigste oppgaver.
Prestegårdshagen var tidligere et barokkanlegg som Carl W. Schnitler har viet plass til i boka Norske Haver (1915). Det blir påstått at, av de mange østfoldske prestegardshagene har denne ved Skjeberg den lengste dokumenterte historia. Den ble anlagt av Skjebergs foregangsprest, Andreas Weideman (spr. 1718-1744), som også bygde dagens prestegårdsbygninger etter at garden hadde vært herjet under krigshandlinger, like før han kom . Både preste- og forpakterbolig med uthusbygninger, representerer viktig kultur-og prestegårdshistorie.
På eiendommen er det registrert fornminner som flere gravhauger og et helleristningsfelt.