Brobygård har sin oprindelse som landsbyhovedgård i det 14. århundrede og er formentlig identisk med Gammelbogaard, som blev nævnt i kilder der, men gårdens middelalderlige historie er usikker. Først fra og med Bild Nielsen Bruckows ejerskab af Brobygård i 1568 kan man give et fyldestgørende billede af ejerhistorien. </br> Gården er nu en avlsgård under Arreskov Gods. Den nuværende hovedbygning er opført i 1662-1673, tilbygget i 1769 og er igen tilbygget i 1905.
Brobyværk - en af Danmarks mest berømte våbenfabrikker i 1600-tallet - lå på Brobygaard.
I 1783 blev gårdene Brobygaard, Ølstedgaard, Arreskov og Gelskov forenet i grevskabet Muckadell.
Trods en brand i 1921 og flere omfattende restaureringer er hovedbygningen fra 1673 bevaret.
Ifølge den Rantzauske tavle fra ca. 1590, der findes på Krengerup og fremstiller Rantzauernes stamtræ, bestod Brobygaard oprindelig af et hvidkalket bindingsværkshus med kælder og to smalle tilbygninger i bindingsværk omkranset af grave.
Indtil 1918 var Brobygård ejer af Brobyværk Kro.
Mindestøtten er udført i sandsten opstillet til minde om lensgreve Albrecht Christoffer Schaffallizky de Muckadell (1780-1858), Brobygård, der var en dygtig godsejer og tilmed højt agtet af egnens befolkning. Efter hans død i 1858 rejste lokalbefolkningen, som det var skik og brug i perioden, en mindesten for ham tæt på gårdens park. Den står i et lille, lidt forsømt anlæg omkranset af et smedejernsrækværk lige overfor Brobygård.