L’ancien manoir datant des XVème-XVIIème siècles occupée par la famille Loménie fut détruit dans les années 1780, au moins en partie, et remplacé par le château de Faye actuel plus moderne, dont la construction commandée par la famille Villoutreix de Faye a été réalisée entre 1782 et 1786 par l’architecte Joseph Brousseau.
Le château a été construit à côté de l’ancien prieuré Saint-André de Faye, dépendant de l’abbaye de Solignac. Il se compose d’un corps de logis principal rectangulaire encadré de deux pavillons latéraux. Deux jardins en terrasse permettent l’accès à la demeure. Le château, propriété privée, ne se visite pas, mais vous pouvez avancer jusqu’aux grilles en restant sur la voie communale.
Le château ainsi qu’une partie des jardins sont inscrits au titre des monuments historiques par arrêté du 4 mai 2000.