Le château de La Roche constituait au Moyen Âge la maison forte de la seigneurie locale détenue par la famille La Palu.
En 1300 Pierre La Palu détache la seigneurie de celle de Varambon et la transmet à son fils Humbert de La Palu.
Elle reste dans la famille La Palu jusqu'au XVIe siècle et sa transmission à Claude de Rie, marquise de Varambon et comtesse de Varax qu'elle transmet elle-même à Jean-François Berliet déjà possesseur du château de Chiloup.
À sa mort, le château de Chiloup est transmis à Etienne Berliet et celui de La Roche à son neveu Jean D'Ivoley.
Le domaine reste dans la famille D'Ivoley jusqu'à 1807 et la transmission à Charles O'Brien. Le fils de Jean d'Ivoley - Jean-Pierre d'Ivoley - serait à l'origine de la création de la toute proche chapelle Notre-Dame-de-l'Orme situé sur le domaine: il aurait souhaité sa construction sur son lit de mort en se confiant à son épouse Angélique de Bertrier.
