Het castum is in 1328 in bezit van de graven van Bentheim die het verkopen aan de bisschop van Utrecht. Deze gaf het kasteel in bruikleen aan een van zijn raadsheren; Ridder Haco van den Rutenberg. In 1276 word een Haco van den Rutenberg genoemd als raadsman van de bisschop van Utrecht en later (in 1326) wordt ene Haco van Rutenberg genoemd als drost van Salland.
Een (klein)zoon Egbert Haecke / Haco van den Rutenberg kreeg in 1389 toestemming om zijn huis weer op te bouwen. Waarschijnlijk had het huis schade gehad door de oorlog, in 1380, tussen de bisschop van Utrecht en Hendrik van Essen met aanhangers (onder wie vermoedelijk ook Egbert Hako).
Het adellijke geslacht Van Den Rutenberg woonde er tot 1545.
Het huidige huis is gebouwd in 1828 door toenmalige eigenaar G. Ridderinkhof.
De Cache;
Op de cachelocatie is een kunstwerk geplaatst wat een voorstelling geeft van een instrument dat werd gebruikt om de dikke kasteelmuren bij een belegering aan te vallen. Stenen of andere zware voorwerpen werden weggeschoten om bressen in de muur te slaan.
Het geplaatste kunstwerk heeft de gemoederen in de omgeving aardig bezig gehouden. Volgens buurtbewoners zou het niet passen in de omgeving. Protesten haalden zelfs het landelijke nieuws.