Renesancny dvojvezovy kastiel postavili Guzicovci na sklonku 16. storocia, potom co dostali osadu do daru od Thurzovcov. V roku 1750 presiel rekonstrukciou, dostal sindlovu strechu a obdobne boli pokryte aj veze s typickym zastresenim ludovej architektury. V roku 1758 ho barokovo prestavali, v tom case kastiel i majetky patrili Abaffyovcom. Po skonceni zemianstva patril kastiel isty cas cirkvi, ktora v nom zriadila sirotinec. Kastiel presiel upravou okolo roku 1930 a po roku 1950, ked ciastocne zmenili jeho dispoziciu pre spolocenske funkcie obce. Sluzil ako mestsky urad, potom a do roku 1990 v nom sidlila Okresna sprava cestovneho ruchu. Osem rokov bol prazdny a stal sa tercom viacerych vlamani. Po restitucii patri opat cirkvi a jeho priestory vlastni Spisska katolicka charita. Prave ona dala kastiel do spravy skautom. Od konca roku 1999, sa skauti z Dolneho Kubina snazia kastiel zrekonstruovat.