C'est avec la pose de sa première pierre, vers 1450 que débute l’histoire de Troussay. En 1545, un acte mentionne le nom du premier propriétaire : Robert de Bugy; plus tard dénommé «Seigneur de Troussay». En 1578 il est échevin de la ville de Blois, et sa famille est anoblie, ses descendants deviennent titulaires des charges de «contrôleurs des greniers à sel de Blois», «collecteurs d'impôts», «conseillers» et «écuyers du roi», ils s’attacheront à étendre et embellir le domaine de Troussay.
En 1732, il est vendu à une famille de notables Blésois, les Pelluys, apparentés à Colbert. Leur fille, la belle Gabrielle Pelluys, épouse en 1741 le chevalier Christophe de Réméon, descendant de Claude de Réméon, compagnon d’ Henry IV. La dot qu’elle apporte est constituée des terres de Troussay, à l’époque il s’agit de plus de 700 hectares allant de Contres à Cheverny et constituant presque toute la Sologne viticole d'aujourd'hui!Leur quatrième enfant, Christophe de Réméon, épouse en 1787, Marie de la Saussaye. Le mariage ne donnant pas d’enfants, ils adoptent leur propre neveu : Louis de la Saussaye (1801-1878) qui héritera de Troussay en 1828.