Balbieriškio savininkas Tiškevičius Ivoniškyje (2 km į rytus nuo dabartinės bažnyčios) apie 1700 m. pastatė koplyčią. Ji 1791 m. atnaujinta, pradėtos rašyti metrikų knygos. 1803 m. koplyčia tapo Balbieriškio parapijos filija. Ivoniškio (Gudelių) dvaro savininkė Liudvika Petravičiūtė-Tiškevičienė jai dovanojo įvairaus turto. 1822 m. veikė parapinė mokykla. 1844 m. bažnyčia sudegė.
1847–1849 m. pastatyta nauja medinė. Apie 1851 m. pastatyta medinė varpinė. Gudeliuose 1859–1871 m. kunigavo religinių giesmių vertėjas į lietuvių kalbą Hiliaras Stelmakauskas (1809–1877). Klebono Antano Vilkutaičio rūpesčiu ir parapijiečių lėšomis 1893–1895 m. pastatyta dabartinė mūrinė bažnyčia. 1898 m. dar nebuvo įrengta. Po Antrojo pasaulinio karo bažnyčia suremontuota.
Bažnyčia dvibokštė, su apside ir bokšteliu, sumūryta iš tašytų akmenų. Joje yra XIX a. pab. nutapytų paveikslų, įdomus sietynas iš stiklo ir metalo.
