Alvito hospedou o soberano em 1265, obtendo, segundo o costume, os privilégios inerentes, confirmados por Carta-régia. Por morte (1279), sem herdeiros, Estevão Anes legou em testamento à Ordem da Trindade, o povoado, o castelo e as terras de Alvito, o que indica a existência de uma estrutura de fortificação prévia no local, à época.
D. Dinis (1279-1325) concedeu-lhe foral em 1280, confirmado em 1289. O progresso da vila é atestado pela instituição, em 1296, de uma feira anual.
Em 1475, Afonso V de Portugal (1438-1481) outorgou o título de barão de Alvito a João Fernandes da Silveira, funcionário régio cujos descendentes viriam a ser titulados como marqueses. Poucos anos mais tarde, em 1482, João II de Portugal (1481-1495) concedeu ao barão e a sua esposa o direito de aí construírem um castelo, outorgando-lhes o senhorio da vila e dos povoados vizinhos.
Este nobre recebeu novas confirmações da licença-régia para a construção do castelo, por parte do mesmo soberano em 1489, e de Manuel I de Portugal (1495-1521), em 1497. De acordo com uma placa epigráfica sobre o portão de entrada, as obras do atual castelo teriam se iniciado desde 1494, a cargo do 2° barão de Alvito, D. Diogo Lopes da Silveira. Estariam concluídas em 1504.
No contexto das Guerras Liberais, este castelo foi atacado e danificado em 1834, tendo lugar, posteriormente novas obras de recuperação, notadamente estuque e pintura. No final do século, em 1887, foi assinada uma promessa de compra e venda deste castelo, com cláusula de usufruto até à morte, entre os seus proprietários D. José Lobo da Silveira Quaresma e sua esposa, D. Carolina Augusta Duarte (falecidos respectivamente em 1917 e 1936), e o futuro rei D. Carlos (1889-1908). Antes do falecimento dos antigos proprietários, entretanto, o conjunto havia sido vendido ao soberano (1897).
No século XX, o castelo foi classificado como Monumento Nacional por Decreto de 16 de Junho de 1910. Após a implantação da República, o ex-soberano D. Manuel II (1908-1910), integrou o castelo ao património da Casa de Bragança (1915), no qual está compreendido até hoje.
A partir de 1941 foram-lhe procedidas intervenções de consolidação e restauro, com a reconstrução de ameias e rebocos, a reparação dos telhados e a demolição de paredes em alvenaria.
No contexto da Revolução dos Cravos, as dependências do castelo foram ocupadas pela Comissão de Moradores de Alvito, que à época promoveram obras de adaptação no primeiro e no segundo pavimentos.
Entre 1980 e 1981, novas intervenções procederam à reparação de panos da muralha, rebocos, coberturas, portas e caixilharias, bem como a reparação dos muros da cerca e o assentamento de portas superiores.
Recuperado, as dependências do castelo estão requalificadas, constituindo desde 1993 um dos estabelecimentos da rede Pousadas de Portugal sob o nome Pousada do Castelo de Alvito.
O castelo apresenta-se como um edifício misto de arquitectura militar e residência apalaçada, onde se identificam influências islâmicas, góticas e manuelinas.
De planta retangular, com quatro torreões cilíndricos ameados nos vértices, os seus lados definem um pátio interior onde se ergue, a noroeste,
a Torre de Menagem, adossada ao pano da muralha. O alto dos muros é percorrido por um adarve constituído por parapeito alteado com merlões onde se rasgam as seteiras. As fachadas sudeste e sudoeste, em alvenaria, caracterizam-se como as de um palácio; as de nordeste e noroeste como muralhas unindo as torres. As características manuelinas e islâmicas são identificadas por algumas janelas em arco de ferradura, maineladas, inscritas em arco conupial, com aduelas em tijolo, e pela decoração naturalista dos capitéis.
A porta principal, em arco chanfrado, ostenta, na parte superior, uma epigrafia informando que o castelo foi iniciado no reinado de D. João II e terminado no de D. Manuel I. Era servida originalmente por uma ponte levadiça sobre o fosso, acedendo-se à praça de armas onde se destaca, do lado sul, uma escadaria de acesso à chamada Sala dos Veados, a Capela e os aposentos das torres.
A Torre de Menagem, originalmente mais alta do que o conjunto, apresenta planta quadrada, em três pavimentos: um térreo e dois superiores, onde se rasgam janelas gradeadas.