Ramberg har vært boplass på Jeløy i Moss i flere tusen år, men ble ryddet nord i utmarka til Refsnes i eldre jernalder. Allerede fra steinalderen er det registrert boplasser for fangst i området. Det er funnet mange kulturminner her, og på Rambergkollen er det rester av en gammel bygdeborg. Opprinnelig var navnet «Ramfnabergar», Ravnebergene. Her har det gjennom årene blitt drevet betydelig skogbruk. Etter at dette fikk mindre betydning, begynte eierne med kullbrenning i stor stil. Gården hadde en sag i Mossefossen.
Hovedhuset på Ramberg Øvre ble antagelig bygget på 1700-tallet.
Ramberggårdene på Jeløy i Moss var opprinnelig ett gårdsbruk, som eieren Gudmund Olsen delte i to i 1852: Ramberg Øvre og Ramberg Nedre/Søndre. Han ga en gård til hver av to sønner. (Andre sønner fikk henholdsvis Fuglevik gård og de to Ås-gårdene. Hovedhuset på Øvre Ramberg er sannsynligvis fra 1700-tallet. I 1723 drev Ramberg gård med tømmer og litt fiske foruten jordbruket. Gården har 160 dekar jord hvor det dyrkes korn og 440 dekar skog.
Ramberg Øvre eies av Gerd Thonstad. Ramberg Nedre eies av Jan Anders Otterstad, gården har 140 dekar jord med korn og 540 dekar skog.