Kalvarijos dvaras pirmą kartą paminėtas 1690 m. Vėliau šio dvaro pavadinimas prigijo ir pačiam miesteliui. Nuo XVIII a. vidurio prie patvenktos Šešupės veikė malūnas. Į kitą upės pusę buvo galima pereiti mediniu tiltu.1915 m. vokiečių kariuomenė dvaro rūmus sudegino. Dvaro ūkinė veikla apmirė, atgaivintas tik malūnas. Vėliau jo aplinka sutvarkyta, išbetonuotos upės krantinės, medinius priestatus pakeitė mūriniai, buvo pastatyta nauja turbina. Iš senojo dvaro sodybos, be malūno, išliko gyvenamasis namas, kumetynas, tvenkinys ir senojo kelio ruožas.
EN Kalvarija manor first time mentioned 1690. Later this name got all town. This mill built in the midle of XVIII century on the bang of dammed Sesupe river. Near was wooden bridge over the river. 1915 german soldiers burned manor house. After this disaster manor activity subsided, recovered just the mill. Arranged enviroment, concreted the bangs of the river, in instead of the wooden ells was built masonry, installed new turbine. At the moment from all manor homestead left just living house, farm laborers, dam and the part of old road