Kostel na návsi v Tvrdkově byl dostavěn roku 1776 a zasvěcen sv. Antonínu Paduánskému. Předtím zde byl pouze hřbitov, márnice a dřevěná zvonice. (Přesto se v některých pramenech objevuje zmínka, že již roku 1735 namaloval známý malíř Jan Kryštof Handke pro filiální kostel v Tvrdkově obraz sv. Rafaela.) V roce 1784 byl Tvrdkov již samostatnou farností, vyfařenou z Horního Města. Její součástí se stal v tomtéž roce i Mirotínek.
V blízkosti kostela stojí socha Panny Marie Immaculaty z roku 1848, od roku 1963 nesoucí statut kulturní památky.
Za první světové války byly z tvrdkovského kostela společně s cínovými svícny a měděnými tympány odvezeny původní zvony, včetně památného zvonu z roku 1601. Pro válečné účely byly vyňaty rovněž kovové píšťaly z varhan, nebyly však již odeslány a po několika letech mohly být opět instalovány do varhan. Je to jediný případ v tomto kraji, kdy byly pro válečné účely zabrány i hudební nástroje. Druhé zvony, zavěšené a posvěcené roku 1924, byly opět odvezeny během druhé světové války.
Velká oprava kostela proběhla v r. 1929 a v r. 1967 byla zahájena generální oprava za velmi významné podpory místních obyvatel, obdobně pak oprava v r. 1981. Farní budova byla již velmi zchátrala a bylo rozhodnuto ji zbourat, nakonec však byla prodána a novým majitelem upravena na rekreační chatu.