Pałac wraz z otaczającym go pięknym parkiem znajduje się po lewej stronie drogi powiatowej do Ujsół. Obecnie mieści się w nim Zakład Opiekuńczo – Leczniczy.
Budowa pałacu wiąże się z Anastazym Siemiońskim który był jednym z właścicieli Rajczy. W 1843 założył on w Rajczy hamry – zakłady żelazne, gdzie przetapiano rudę. Mieściły się one w pobliżu pałacu. Kolejnym właścicielem pałacu był Teodor Primavesi, a lata 1854 – 1893 przyniosły dalszą rozbudowę pałacu, który przyjął zwarty, oryginalny, neogotycki kształt. Był to budynek jednokondygnacyjny z poddaszem. Piękny zadbany park z licznymi rzeźbami, stawem i unikatowym drzewostanem dodawał całości splendoru. W latach 1894 – 1914 właścicielem Rajczy był Książe Władysław Lubomirski, który dokonał gruntownej przebudowy pałacu. Projektodawcą był jeden z krakowskich architektów, do dziś trwają spory historyków o ustalenie jego nazwisko. Pałac nabrał w tym czasie neorenesansowego charakteru z jednej strony wygodnej wiejskiej rezydencji, z drugiej funkcji reprezentacyjnej. Książe Lubomirski wiódł bujne życie towarzyskie i za jego czasów pałac gościł wielu znanych twórców Młodej Polski takich jak Karol Szymanowski czy Grzegorz Fitelberg. Pałac tętnił życiem i był znany w szerokich kręgach. W roku 1914 Książe Władysław Lubomirski sprzedał pałac Stefanowi Karolowi Habsburgowi.
