L’ensemble conventuel a eu la chance de garder l’intégralité de ses bâtiments à travers les huit siècles de son histoire religieuse et civile.
Sur un versant abrupt, face au Luberon, les Carmes, ermites venant du Mont Carmel en Palestine ont construit un couvent après leur première étape des Aygalades près de Marseille. Cet emplacement en limite des territoires des communes de Ménerbes et de Lacoste, n’est qu’à 8 km à vol d’oiseau de l'ancienne voie romaine la via Domitia qui relie Cavaillon à Apt, c'est-à-dire le Rhône à la Durance vers l’Italie. Près d’une source, des grottes toujours utilisées dont on ne connaît pas l’origine ont abrité ces ermites avant qu’ils ne s’organisent en communauté et ne construisent leur chapelle, dortoir, salle capitulaire etc.. Dans le cloître est gravée la date de 1254 sur le mur de l’église.
Au XVe siècle, le couvent Carme accueillit à plusieurs reprises les réunions des chapitres de la province de Provence (1448 et 1472) ainsi que peut-être, le général de l'Ordre, Jean Soreth. De ce siècle, datent les plus anciens documents attestant des conflits avec le clergé dû au refus du prieur de Saint-Hilaire de payer la dîme, dont il avait été exempté2.
Le XVIe siècle est marqué par plusieurs évènements & périodes d’insécurité : l'installation vaudoise en 1540, la période de la Réforme en 1570 et l'occupation protestante de Ménerbes entre 1573 et 15782.
Avec la paix revenue, une communauté de Carmes revient vivre régulièrement et entreprend même la Réforme de l'Ordre dite "de Touraine" conservant leur nom de "Grands Carmes" qui les différencie des Carmes déchaussés (réforme de sainte Thérèse d'Ávila et de saint Jean de la Croix). Le prieuré est rebâti partiellement en restreignant la superficie du cloître, en raison de la forte pente, pour permettre un vaste édifice face au Luberon.
Un tel essor attisa les convoitises : l'évêque de Cavaillon obtient en 1656 du pape Alexandre VII la suppression du couvent de Saint-Hilaire au profit de son "petit séminaire", très démuni. Le conflit dura plusieurs années et les Carmes, violemment expulsés, firent témoigner de nombreux habitants du terroir, notables et voisins. Ils en appelèrent au roi Louis XIV, arguant de leur supposée fondation par son ancêtre illustre, le roi Saint Louis au retour de la septième croisade avec comme preuve des témoignages issus de la mémoire collective. En 1660, le prieuré est à nouveau régulièrement occupé par les moines...
En 1661, après l'apparition de la Vierge survenue près de Goult, à 7 km de Saint-Hilaire, le R. P. Michel du Saint Esprit, carme, commissaire général de la province de Provence, à la suite d'une visite des frères installés à Saint-Hilaire, fonde en 1663, sur la commune de Goult, le sanctuaire de Notre-Dame-de-Lumières.
En 1778, en raison du trop faible nombre de religieux, les biens de Saint-Hilaire sont réunis à celui d'Avignon, puis sous la Révolution, en 1792, lors de la réunion des États pontificaux d'Avignon à la France, le prieuré de Saint-Hilaire est cédé à un particulier d'Avignon, fabricant de tissus imprimés.
1858, Les Bernardins de Sénanque achètent Saint-Hilaire, pour en faire une « grange », c'est-à-dire une exploitation agricole monastique. Ils firent quelques restaurations, comme la construction d'une galerie au sud du cloître et vendront l’ensemble, en 1864, à des agriculteurs.
Le tremblement de terre de 1909 provoque fissures et éboulements.
Un partage successoral divise le bâtiment en deux parties. Le cloître est séparé par un mur. L'exploitation agricole transforme le réfectoire en étable, le premier étage en grange et l'église devient un hangar avec une porte cochère ouverte dans le chevet.
En 1961, monsieur et madame René Bride, originaires de Reims en Champagne, acquièrent Saint-Hilaire. La restauration commence progressivement.
Par arrêté du 7 octobre 1975, l'ensemble est classé monument historique.
