Apie 1521 m. Karmėlavoje pastatyta pirmoji bažnyčia. Bažnyčia degė ne vieną kartą. Pirmojo Pasaulinio karo metu kilęs gaisras sunaikino didžiąją miestelio dalį, sudegė ir bažnyčia bei priešais ją stovėjusi didžioji varpinė. 1919–1921 m. pastatyta nauja medinė bažnyčia (Vladimiro Dubeneckio projektas). Tai buvo pirmoji po Nepriklausomybės atkūrimo šalyje pastatyta bažnyčia – lietuviško stiliaus, jungianti tradicinius ir modernaus neobaroko stilių elementus.
Antrojo pasaulinio karo metu, 1944 m. liepos 29 d. rusų žvalgai su žiūronais užlipo į bažnyčios bokštą pasižiūrėti į kitą Neries pusę, vokiečiai juos pamatė ir bažnyčią susprogdino. Nuo 1944 m. gruodžio 17 d. parapija naudojasi ūkiniame pastate šalimais įkurta laikina medine koplyčia savo forma primenančia vienaaukštį gyvenamąjį namą.
Išlikę senosios bažnyčios pamatai, akmeninė tvora ir senosios bažnyčios šventoriaus vartai. 3 m aukščio, ornamentuoti, ažūriniai, kalvių darbo, mūro kolonų laikomi, XIX a. vartai yra saugoma kultūros vertybė. To paties stiliaus yra greta esantys kiti varteliai (apie 1,5 m aukščio). Virš pagrindinių vartų yra geležiniai ornamentuoti kryžiai. 1992 m. tvora ir vartai įrašyti į Lietuvos kultūros vertybių registrą (unik. kodas 1370).
Už senojo šventoriaus atsiveria vaidingas Neries slėnis. Buvusiame šventoriuje iškilę keli antkapiniai paminklai, pastatytas Mažojo Unguto tremtinių paminklas. 1992 m. kovo mėnesį, minint Magdeburgo miesto teisių suteikimo Karmėlavai 200-ąsias metines, bažnyčios šventoriuje pastatytas ir pašventintas kryžius.