Erguido na Idade do Ferro, o "Castro de Moldes", também conhecido por "Monte do Castelo de Neiva", situa-se na margem direita do Rio que lhe deu nome (Neiva), e de onde se desfruta de uma excelente visibilidade sobre a extensa planície que se espraia em seu redor, bem como sobre a própria foz.
As escavações arqueológicas realizadas no sítio durante a primeira metade dos anos oitenta do século passado permitiram colocar a descoberto um povoado de consideráveis dimensões dotado de um assinalável sistema defensivo constituído por cinco linhas de muralha reforçado por torreões localizados na vertente Sul, acompanhando, quase sempre, a geografia do terreno.
As investigações evidenciaram de igual modo a reutilização do espaço em épocas posteriores, designadamente durante o período de ocupação romana do actual território português, certamente pela sua inegável posição estratégica.
A sua relevância táctica foi reforçada já em plena Idade Média, e em concreto, no início do século XII, do qual remonta a primeira referência de que há conhecimento até à data sobre a existência, no local, de um castelo, pouco antes de D. Afonso Henriques (1109-1185) ser cercado em Guimarães. Foi, a partir de então, palco de vários episódios relacionados com a consolidação do Reino de Portugal, em pleno processo de Reconquista, até que, em finais do século XIV, o castelo acabou por perder a sua anterior importância política na sequência da transferência da sede de julgado de Neiva, executada no âmbito de uma ampla reorganização administrativa do território. Foi, então, abandonado, entrando num lento processo de degradação, embora ainda sejam visíveis os sulcos onde assentavam os muros da torre e subsista a romaria à capela de Nossa Senhora das Oliveiras, construída num dos caminhos conducentes ao interior do povoado.
"A casa de um homem é o seu castelo"
Edward Coke