Le château de Ruynes est inscrit aux Monuments historiques depuis le 18 décembre 1981.
Il apparaît pour la première fois dans un acte de 1119. Après la trahison du Connétable, il est confisqué par François Ier qui le vend à la soeur du duc de Bourbon, épouse d'Antoine de Lorraine. En 1719, Anne Palatine vend le château à John Law. En 1773, Louis XV achète le château pour le comte d'Artois, puis le cède au comte de Lastic en 1775. À la Révolution, la commune s'empare du château et le démantèle.
Du château originel, il ne reste plus aujourd'hui que le donjon et quelques vestiges du rempart. Le corps de logis qui s'adossait au donjon a disparu.
Dominant le village de Ruynes-en-Margeride, la tour abrite désormais le jardin de Saint-Martin, site de l'écomusée de Margeride.