Dés le XIII° siècle, nous entendons parler d'une famille de Saint-Vidal, mais la Seigneurie prendra vraiment une importance avec l'arrivé des La Tour.
Saint Vidal, fait partie dés la fin du XIII° siècle des Baronnies diocésaine de la Haute Loire.
En 1228, le Vicomte de Polignac abandonne la haute justice du lieu à Hugues de La Tour. Dés cette date, la puissance de la Baronnie de Saint-Vidal, ne cessera de croître jusqu'au XVI° siècle.
A l'origine, Saint-Vidal n'est qu'une vaste maison forte, mais très vite, les héritages laissés aux La Tour, par les Glavenas, les Creix ou encore les Goudet entre 1300 et 1400 permettrons aux Seigneurs de Saint-Vidal, de renforcer leur château au XV° siècle.
Le château prend alors la forme d'une grosse forteresse, flanquée de quatre grosses tours d'angle. Le château bénéficie également d'une remarquable cour intérieure, desservant l'ensemble des parties du château.
A l'extérieur, les hauts murs de la forteresse donnent sur une large cour délimitée par les profondes et larges douves.
Au XVI° siècle, le château se modernise grâce à Antoine 1er de La Tour, qui agrandira les ouvertures à la mode renaissance inspiré par l'architecte Serlio. Son fils Antoine 2, continuera de renforcer la forteresse en la préparant par exemple à recevoir des cannons. Il s'illustra pendant les guerres civiles, luttera contre les Polignac et sera successivement, chef de tête du parti catholique, de la Ligue, Grand maître de l'artillerie de France. Il mourra en 1591, après avoir laissé à Saint-Vidal, de larges fortifications.
Malgré l'aspect défensif du château, certaines pièces sont agrémentées de fresques et de décors.
Dés sa mort, les troupes royalistes attaquent le château sans parvenir à le prendre. Les Rochefort d'Ally, alors héritiers du domaine, entreprendrons les quelques réparations à faire. Cependant, les Rochefort ayant d'autres possessions comme le Thiolent, ou Ally, délaissent Saint-Vidal et le lègue à Pierre de Dienne de Chavagniac en 1742.
Le château sera racheté en 1748 par Pierre Joseph de Rochefort d'Ally pour 90 000 livres qui le revendra en 1765 pour 130 000 livres à Louis Augustin Porral, bourgeois du Puy.
Pierre Joseph ne gardant que le titre de Baron du Velay. Le château devient ensuite propriété de l'évêché et tombe petit à petit en décrépitude. Le château est alors racheté en 1930 par la famille Sahy, qui le sauvera de la ruine.