Kasteel Nemerlaer, dat voor het eerst in 1303 in de archieven wordt vermeld, is gelegen op een uitgestrekt landgoed, waarvan de kasteellanen uitkomen op een weg van Oisterwijk naar Boxtel. Het kasteel stond aanvankelijk bekend onder de naam Amerlaer, genoemd naar het riviertje de Amer (later Nemer) en Laer, een open plek in het bos. Er is eerder verondersteld, dat op deze plaats een jachtslot van de hertogen van Brabant zou hebben gestaan. Het kasteel was oorspronkelijk een middeleeuwse versterkte burcht, die in de 18de eeuw werd omgebouwd tot een omgracht landhuis. Rondom de Nemerlaer lag aanvankelijk een dubbele gracht. Het kasteel was bereikbaar via een stenen poort in de voorburcht en een houten ophaalbrug op jukken. Het huis heeft nog bouwelementen uit de 14de en 15de eeuw. Het oudste gedeelte bevindt zich in het souterrain, waarvan een deel voorzien is van een gewelf. In een van de ruimten zijn nog een geheim gemak, lichtnisjes en een schietsleuf in de dikke buitenmuren te vinden. De Nemerlaer werd in 1718 gerestaureerd en gedeeltelijk verbouwd. Hieraan herinnert nog een gedenksteen aan het bordes. In 1880 volgde een nieuwe verbouwing van het kasteel met een uitbreiding aan de achterzijde met serres en een middenpaviljoen. De rest van het gebouw werd van een beklamping voorzien. In diverse vertrekken bevinden zich nog de 18de en 19de eeuwse schouwen.