De prinsen van Horne en later de Salms droegen bij aan een zekere verfransing van de nabij de taalgrens gelegen plaats Overijse. Ze leefden vaak uitbundig, hetgeen hen dikwijls in geldnood bracht. De Hornes lieten in de 17e eeuw het kasteel uitbreiden, terwijl in 1768 een vleugel van het kasteel werd gesloopt.
Daarna bleef het kasteel tot 1937 in handen van de familie de Le Hoye, waarna het overging op een kleindochter, getrouwd met Louis Braffort (1886-1944), hoogleraar aan de UCL, advocaat en stafhouder, gestorven voor het vaderland.Nadat Overijse in 1814 deel ging uitmaken van het Verenigd Koninkrijk der Nederlanden, kregen de erfgenamen van de Salms hun bezit terug, hoewel ze van hun heerlijke rechten ontheven waren. In 1817 waren ze genoodzaakt het prinsdom, in feite nog slechts een landgoed van 740 ha, in het openbaar te verkopen. In 1824 werd het kasteel gekocht door Maurice de Le Hoye en daarna geërfd door Louis de Le Hoye, voorzitter van de rechtbank in Nijvel, die het liet restaureren.
Tijdens de Tweede Wereldoorlog werd het kasteel vanaf 1939 achtereenvolgens gebruikt door Belgische, Duitse, en Engelse soldaten. In 1948 kocht de Belgische Staat het kasteel, herstelde het en vestigde er een middelbare school in.
In het begin van de jaren 50 van de 20e eeuw werd de warande van het kasteel verkaveld. In 1967 stortte een bouwvallig 15e-eeuws jachtpaviljoen, behorend bij het kasteel, in ten gevolge van het doorbreken van de geluidsbarrière door een straaljager.
In 1977 werd het 300-jarig jubileum van het prinsdom IJse gevierd waarbij, in aanwezigheid van een nazaat van de Salms, een gedenkplaat werd onthuld.
Dit gebouw wordt nu deels gebruikt door de twee laatste jaren van de lagere school Het Kasteeltje.