Le château a été construit au XVIIIe siècle sur des plans de l'architecte Pierre Racine. Le château de L'Isle-de-Noé est bâtiment municipal depuis 1975, un édifice classé aux Monuments historiques. Il est ceinturé par un parc de 12 hectares. Aujourd'hui, il abrite le Centre permanent d'initiatives pour l'environnement du Gers et l'école maternelle.
Ce château fut la résidence du comte Louis-Pantaléon de Noé, qui affranchit en 1776 Toussaint Louverture. Les descendants y conservent un objet, une canne en bois de gaiac, détenu par ce général noir de la République, qui finit sur ordre de Napoléon par être arrêté et emprisonné au fort de Joux où il mourrut.
L’Isle-de-Noé n’est pas un hasard. En effet la famille des comtes de Noé est liée à l’histoire de l’abolition de l’esclavage.
Né au château en 1683, le comte Louis de Noé fait un mariage créole en 1726 en épousant la fille d’un riche planteur de Saint-Domingue. De leur union, naîtra, en 1728, Louis-Pantaléon Noé. Après une enfance dans les Caraïbes il partira en métropole servir la France.
A son retour à Saint-Domingue il rencontre le cocher de la maison, un esclave noir Toussaint Louverture. Séduit par son intelligence et son charisme Louis-Pantaléon de Noé décide de l’affranchir.
Après diverses pérégrinations Toussaint Louverture, au lendemain de la Révolution française, prend la tête, fin août 1791, d’une révolte contre la tutelle française. Mais il revient dans son giron lorsque l’abolition de l’esclavage est prononcée. En 1801 Toussaint Louverture s’autoproclame gouverneur, un geste qui déplaît à Bonaparte mais sera le début de ses problèmes qui le feront emprisonner en France.
Une cérémonie s’y est tenue le 10 mai 2006, en présence du préfet, du maire, du président du conseil général et d’associations oeuvrant dans le domaine des droits de l’homme.