tour carrée du xiiie siècle, dont on retrouve des murs dans la construction actuelle, est assez mystérieuse. Située à la sortie d'Angoulême sur l'ancien chemin de Périgueux, ses premiers propriétaires semblent inconnus.
En 1506, Pierre de La Place, seigneur de La Tourgarnier est maire d'Angoulême. Son fils, Hélie, écuyer, seigneur de Torsac et de La Tourgarnier, protestant, devient à son tour maire d'Angoulême en 1561. Il était un proche de Calvin lorsque celui-ci vint à Angoulême en 1533-1534. Il fit rebâtir le logis de la Tour-Garnier
Le logis, s'il s'agit bien de lui dans la notice Mérimée, a aussi été remanié vers 1760-1770. Entre 1825 et 1936, il serait devenu le logement patronal d'une papeterie (Papeterie de la Tourgarnier), qui occupera une grande partie du quartier entre 1908 et la fin des années 1970, avec la société Couprie et Blanch.
Le 4 mars 1925 et le 22 août 1949, le logis avec sa tour, son portail à l'intérieur de la cour et le mur de clôture avec crénelage est inscrit monument historique
En janvier 2011, la propriété est vendue et la nouvelle propriétaire a fait d'importants travaux d'aménagement d'intérieur ainsi que les jardins.
En septembre 2015, le logis passe à l'émission La maison France 5. Privé, il ne se visite pas, mais son ancien moulin a été aménagé en chambre d'hôte et galerie d'art