Skarregaard er som museum indrettet som en større studegård anno 1950. Men det er blot et tidsbillede, for gårdens historie kan spores helt tilbage til middelalderen, og der har været bopladser ved fjorden helt tilbage i stenalderen.

Det menes, at der i begyndelsen af 1100-tallet opførtes en borg ”Skarreborg” af Kong Niels på voldstedet på bakken Krogsbjerg nord for det nuværende Skarregaard. På et tidspunkt i middelalderen blev Skarreborg brudt ned, og bygningsdelene anvendtes til at bygge en gård, Skarregaard. Voldstedet ligger der stadig, synligt på toppen af Krogbjerg. Gården Skarregaard fik dog i første omgang ikke dens nuværende placering, men lå nede på engen tæt ved fjorden. Det gav dog gentagne problemer med oversvømmelser, og derfor flyttedes gården i 1840 op på sin nuværende placering.

Gården på engen ejedes i middelalderen gennem flere århundreder af medlemmer af den danske adel, som enten selv drev gården eller lod den forpagte. Skarregaard var en vigtig gård på Nordmors, hvilket bl.a. ses på prædikestolen i Sdr. Draaby kirke. Her står der i et af sidefelterne: Anno 1590 lod Maren Lycki till Skaregaardt thenne Predicksyuol opsette.  Gården oplevede dog nedgangstider i 1600-tallet og overdroges en overgang til kongen, da gården i 1683 stod øde og forgældet hen.

I 1716 kom Skarregaard så på private hænder, idet byfoged i Nykøbing, Rasmus Jørgensen, købte gården. Senere kommer skiftende ejere til, bl.a. Nandrup Gods, der ejede Skarregaard indtil 1795.

1833 blev et skelsættende år for gården, da Jørgen Christian Overgaard købte Skarregaard, som stadig lå nede på strandengen. Siden 1600-tallet havde ingen ejer af gården også beboet den, men nu fik stedet en ejer, som også drev gården i det daglige. Og det var da også ham, som i 1840 efter en stormflod året før flyttede gården væk fra engen og op, hvor den ligger så smukt i dag. Fire generationer af Overgaard-slægten drev Skarregaard, indtil den sidste ejer i 1978 testamenterede gården til Morsø Kommune.

Fra 1992 overtog Museum Mors driften af gården, hvis bygninger stadig ejes af Morsø Kommune. Til gården hører 209 ha jord. Strandeng og søer udgør 117 ha.

Skarregaard er fredet. Det er den pga. den homogene og uspolerede form, gårdens bygninger har, ligesom den er et typisk eksempel på en vestjysk studegaard.