Olšanská fara má i dnes podobu puvodního zámecku, na který byla v 17. století prestavena z tvrze. Roku 1787 prodal dacický hrabe z Osteinu olšanský zámecek náboženské matici a ta v nem zrídila kostel a faru. Okolní hospodárské budovy byly zboreny až pocátkem 20. století a dosud jsou cástecne patrné, nedaleko zámecku byl i panský pivovar a ješte nedávno rostl na nekolika místech v Olšanech divoký chmel.