Hoewel er op deze plek reeds in de 10e eeuw een kasteel stond, stamt het huidige kasteel met zijn park en hangbrug grotendeels uit de 15e eeuw. Het kasteel was gedurende eeuwen de hoofdresidentie van de adellijke familie Vilain XIIII. Deze oude familie leverde 139 jaar lang de burgemeesters van Bazel. Door de eeuwen heen is het kasteel grondig verbouwd en gerenoveerd. Op last van burggraaf Philippe Vilain XIIII werd het fraaie poorthuis opgetrokken in neo-Tudorstijl. Ook het interieur dateert uit deze periode. Vermeldenswaardig is het salon in empirestijl dat dateert uit de tijd van burggravin Sophie-Louise-Zoé de Feltz. Het kasteel, het poortgebouw, de ijzeren hangbrug en de duiventoren werden tot monument geklasseerd in 1981 (besluit van 3 juli 1981 op advies van de Koninklijke Commissie voor Monumenten en Landschappen).
De familie Villain verliet het ouderlijk kasteel in de tweede helft van de vorige eeuw. Het werd in 1989 aangekocht door de gemeente Kruibeke, die sindsdien het onderhoud voor haar rekening neemt. Het kasteel is ook een plek voor culturele activiteiten, excursies en tentoonstellingen.