Ukmergės katalikų parapija yra viena seniausių Lietuvoje, įkurta Lietuvos krikšto metu. 1387 m. Jogailos rašytame rašte minima Ukmergės parapija. Reiškia buvo ir bažnyčia. (Vilniuje ir Kaune bažnyčios jau buvo pastatytos iki krikšto, nes norėdavo melstis atvažiavę pirkliai). Po krikšto įsteigtos 7 bažnyčios LDK, 3 Lietuvos teritorijoje (Ukmergė, Nemenčinė, Eišiškės), 4 Baltarusijos.
Bažnyčios vieta galėjo atlikti Ukmergės pilies šiaurinio forposto (karinis atsparos punktas) vaidmenį, tačiau daroma ir prielaida, kad ji galėjo būti pastatyta senosios pagoniškos lietuvių šventyklos vietoje. Pirmoji Ukmergės bažnyčia buvo medinė ir nedidelė.
Maždaug 1560 m. buvo pastatyta nauja bažnyčia. Kai kur minima, kad ji buvo pastatyta „iš ąžuolo“. 1674 m. inventoriuje minima jau atstatyta rusų sudeginta Ukmergės bažnyčia (tikslios jos atstatymo datos nėra). Ji buvo medinė, su kupolu ir dviem raudonai dažytais bokštais. Stogas iš gontų (šiame inventoriuje paminėtas ir pirmasis Ukmergėje gyvenantis žydas). 1764 m. buvo pastatyta nauja medinė šv. Petro ir Povilo bažnyčia (ketvirta toje pačioje vietoje). Ji buvo su dviem bokštais: vienu dideliu už fasado, kitu mažesniu (virš didžiojo altoriaus). Stogas dengtas gontais.
Dabartinė bažnyčia jau 5-oji šioje vietoje. Visos 4 buvo medinės, ir visos sudegdavo per gaisrus. Kai sudegė ketvirtoji bažnyčia, tuometinis kunigas Niderovičius nutarė, kad reikia statyti mūrinę, nes jei stovės mūrinė, tai ji stovės ilgą laiką. Statybos baigtos 1820 m. (kitur teigiama, kad pastatyta 1880 -1818 m.). Kas buvo bažnyčios projekto autorius, nežinoma. 1836 m. pastatyta varpinė pagal architekto Karolio Gregotovičiaus projektą. 1900 m. šventorius aptvertas akmenų ir plytų mūro tvora su stulpiniais vartais.
Po 1931 m. rekonstrukcijos stipriai pakito šventovės planinė struktūra ir eksterjeras. Įdomu tai, kad statinio erdvė buvo tarsi apsukta: buvusio pagrindinio fasado gale primūryta presbiterija ir dvi zakristijos, o buvusios apsidės gale − portikas. Bažnyčios perstatymo projektą 1930 m. parengė inžinierius Vaclovas Michnevičius, jam buvo pavesta ir techninė priežiūra. Ji padidinta pristačius presbiteriją ir dvi zakristijas buvusio fasado gale. (Iki 1932-1933 m. kapitalinio remonto, viskas buvo atvirkščiai.) Kur dabar bažnyčios altorius, ten buvo įėjimas, o kur dabar įėjimas, ten buvo altorius. Per tą remontą viską perdarė, nes įėjimas buvo labai nepatogus, prie skardžio, žmonės turėjo lanką daryt ar per skardį lipti. O dabar įėjimas prie gatvės. Remonto metu pristatytas priestatas. Ant bažnyčios fasado Šv. Petro ir Šv. Povilo skulptūros, viduryje Kristus su kryžiumi. Kadangi Šv. Petras buvo pirmasis Romos popiežius, ant fasado popiežiaus valdžios ženklai, Šv. Petro raktai.
Šalia bažnyčios iki 1796 m. buvo ir pirmosios miesto kapinės. Kai buvo įsteigtos Vaižganto kapinės nuo 1796 m. (Vaižganto g. pab.) perkėlė tas kapines. Buvusios kapinės buvo apleistos ir dabar nėra žymės. Bet jei pakasinėjus bažnyčios teritoriją, būtų nemažai rasta kapų.