Z historických záznamov je doložená informácia o početnej židovskej komunite, ktorá sa v meste vyskytovala od 17. storočia. V roku 1683 sem z Moravy prišlo vyše 200 židov. Židovská komunita sa postupne rozrastala a podľa všetkého si v roku 1731 zriadila náboženskú obec. V tom čase mali už židia vo Vrbovom synagóu. Za pôsobenia rabína Frojdmana si postavili novú, ktorá sa nachádzala na terajšom Námestí slobody vo dvore patriacemu Vrbovským zemanom Nezbudovcom a Pronajovcom (približne v miestach budovy terajšej štátnej polície).
Terajšia synagóga je situovaná v centre mesta v hornej časti ulice M. A. Beňovského. Reprezentuje orientálnymi prvkami obohatenú architektúru kultových stavieb židovských náboženských obcí poslednej štvrtiny 19. storočia. Bola postavená v rokoch 1882-1883 v maurskom slohu. V tom čase tvorili židia 1/3 obyvateľstva. Od roku 1942 neslúži na náboženské účely. Bol tam umiestnený sklad obilia, neskôr textilných výrobkov n. p. Trikota.