Miesto plano duomenimis XIX a. kariniai pastatai buvo išsidėstę rytinėje miesto dalyje. Dauguma pastatu buvo mediniai. 1838 m. miesto tikrosios būklės plane rytiniame pakraštyje pažymėtos paplentės kareivinės ir upės pakrantėje invalidų komandos kareivinės, numatytas naujų kareivinių plotas vakariniame miesto pakraštyje, prie kelio į Deltuvą. Ukmergės miesto apybraižoje rašoma kad 1915 m. rugpjūčio mėnesi degė kareivines. tikriausiai sis gaisras sunaikino rytinėje miesto pusėje buvusius medinius kareiviniu pastatus. XX a. pradžioje Ukmergės karinis miestelis užfiksuotas vokiečių sudarytame plane. Šis planas nėra detalus, pažymėti tik didesni mūriniai pastatai. Prie Kauno ir Deltuvos gatvių užfiksuoti 5 kareivinių pastatai. Siame sudarytame plane atsispindi šiuo metu išlikusiu kareiviniu vieta miesto teritorijoje.
1918 metų vasario 16 dieną buvo paskelbtas Lietuvos Nepriklausomybės aktas, o tų pačių metų lapkričio 23 dieną – sukurta Lietuvos kariuomenė, išleistas pirmasis įsakymas kurti Lietuvos ginkluotąsias pajėgas. Lietuvos kariuomenės pradžia – pirmasis pėstininkų Lietuvos Didžiojo kunigaikščio Gedimino pulkas. Nuo 1923 metų pavasario iki 1939-ųjų rudens pulkas buvo dislokuotas Ukmergėje.
1924 m. buvo sprendžiami naujų kareivinių statybos poreikio klausimai. Naujoms kareivinėms statyti buvo parinkta vieta buvusių Rusijos kareivinių teritorijoje, prie Deltuvos gatvės. 1931-1932 m. vakarinėje miesto dalyje, kareivinių teritorijoje pastatyta naujos mūrinės Ukmergės kareivinės - didžiausias plano gabaritais tokios paskirties statinys Lietuvoje. 1940 m. Ukmergės kareivinių perdavimo Raudonosios armijos žinion akte kareivinių statybos data nurodoma 1938 m. Projektą sudarė architektas Rabinavičius, statybą prižiūrėjo inžinierius J. Kriščiukaitis ir kapitonas Kubilius. Kareivinės pastatytos pagal tuo metu Europoje nustatytus pažangiausius reikalavimus šios paskirties pastatams. Pastatas atstovavo plintančiai tarpukario modernizmo krypčiai. Architektūrinis sprendimas, fasadų estetika panaši į kitų Europos šalių to laikotarpio kareivinių architektūrą. Pastato kubatūra buvo apie 28000 kub. m. Jo ilgis 150 m. Fasadų kompozicija simetrinė. Jų paviršius tinkuotas, stogas čerpių. Deja apie 2009 m. sis pastatas buvo nugriautas.
Skirtingai negu dauguma tuo metu Lietuvoje statytų 3-4 aukštų kareivinių, pastatas tik dviejų aukštų, su mansarda, bet išplėstas į plotą. Nustatyta, kad toks aukštų skaičius geresnis higienos požiūriu. Kareivinės buvo skirtos vienam batalionui. Jame buvo įvestas vandentiekis, kanalizacija, įrengtas centrinis šildymas ir ventiliacija. Pirmajame aukšte tilpo dvi kuopos (pėstininkų ir kulkosvaidininkų kuopos), valgykla, puskarininkių valgykla. virtuvė, krautuvė, svečių kambarys, bataliono vado kambariai, kuopos vadų kambariai, kuopos raštinės Antrajame aukšte tilpo dvi likusios pėstininkų kuopos ir gimnastikos salė, mansardoje buvo įrengtos klasės, kuopų sandėliai, dirbtuvės ir puskarininkių kambariai. Kareivinės priklausė koridoriniam tipui su šviesiais plačiais koridoriais, pėstininkų kuopai priklausė šeši miegamieji kambariai, o kulkosvaidžių kuopai - keturi. Miegamieji buvo išdėstyti pastato šonuose, centre buvo erdvi valgykla (antrajame aukšte - gimnastikos salė), kurias nuo miegamųjų skyrė dvi laiptinės.
1935 m. gale Ukmergėje turėjo būti baigtos statybos: artilerijos grupei arklidės 239 arkliams, joms skirtas pašaro ir avižų sandėlis, patrankų sandėlis - 12 pabūklų, gurguolės sandėlis - 40 gurguolių. Pėstininkų pulkui - arklidės 43 arkliams ir 2 pašaro sandėliai. Artilerijos grupei ir pėstininkų pulkui - maisto sandėlis, sprogstamųjų medžiagų sandėlis, ginklų sandėlis, veterinarijos ligoninė 20 arklių. Visi šie darbai turėjo būti užbaigti iki 1935 m. lapkričio 30 d.. Tuo laikotarpiu sudarytame Ukmergės miesto plane pažymėta siaurojo geležinkelio, einančio iš Jonavos, atšaka į kareivinių teritoriją, ji ėjo palei Deltuvos gatvę ir suko į kvartalą, esantį į rytus nuo dab. A.Smetonos g. Čia parodytas stambus statinys - kariuomenės sandėlis. 1940 m., perduodant pastatus Raudonajai armijai, konstatuojama, jog didžiosios kareivinės geros būklės, tik žiemą nenaudoti vandentiekio vamzdžiai trūkę. Gerai įvertinta ir antrųjų 1938 m. statytų mūrinių kareivinių fizinė būklė. Arklidžių statybos data nurodyta 1936-1938 m. Jos charakterizuojamos kaip vieno tipo iš medinių rąstų. Stogai - medžio skiedrų. Grindys praėjimuose cementinės, stovuose moliu plūktos. Lubos lentinės. Patalpose įrengti kabantys mediniai, geležimi apkalti loviai. Yra įvesta elektra ir vėdinimas. Surašytos penkios arklidės: trejos 68, po vienerias 53, ir 36 arkliams. Užfiksuota medinė 1936 m. statyta šunidė ryšio šunims laikyti. Joje įrengti septyniems šunims gardai išorėje ir septynios patalpos viduje, plyta šunims maistą virti. Stovėjo mūrinė kalvė, statyta 1936 m., du rūsiai daržovėms laikyti, konstatuota, kad dėl netvarkingo drenažo juose yra vandens iki 15 cm. Sąraše minimi mūriniai garažai 25 ir 4 mašinoms laikyti, pastatas autoremontui 3 mašinoms, du sandėliai. Išvardinti įrenginiai kieme "užvažiuojamos svarstyklės, ligi 3000 kg kėlimo galios, du siurbliai, šuliniai.
Prieš Antrąjį pasaulinį karą Ukmergės karinio miestelio teritorija plytėjo tarp Kauno, Deltuvos, A.Smetonos g.
Po Antrojo pasaulinio karo kariniame miestelyje įsikūrė sovietų kariuomenė. Išgriauta daug medinių pastatų. Naujai pastatyta surenkamų pastatų ir daugiabučių gyvenamų namų kariškiams.
Išėjus Rusijos kariuomenei, dauguma pastatų tapo nereikalingais, buvo nugriautos didžiosios kareivinės, kai kurie kiti pastatai. Dalis mūrinių pastatų stovi tušti, niokojami. Vienas XIX a. pabaigos kareivinių pastatas prieš keletą metų buvo pradėtas nevykusiai pertvarkyti. Norint sustabdyti šį procesą, jis skubiai registruotas LR Nekilnojamųjų kultūros vertybių registre. Tarp Kauno ir Deltuvos gatves stovintys daugiabučiai yra sovietmečiu statyti kareiviniu pastatai skirti kareiviams ir viršininkams. Be šių pastatu yra eksploatuojami tik keturi kareiviniu pastatai. Viename iš jų veikla vykdo „Vilkmos“ fabrikas (buvusios kareivines), kitame įsikūręs Ukmergės nestacionariu socialiniu paslaugu centras, 
trečiame pastate Lietuvos kariuomenės Krašto apsaugos savanorių pajėgų Didžiosios kovos apygardos 8 - osios rinktinės 805 kuopa, ketvirtasis priklauso privatiems asmenims (buvusiu kareiviniu valgykla). Kauno gatvėje stovintis karininku arba štabo pastatas priklauso privatiems asmenims ir šiuo metu yra renovuojamas, šalia jo stovi nenaudojamas kitas kareiviniu miestelio palikimas.
Tarp Kauno ir Deltuvos gatvių stovi XX a. IV dešimtmečio, apleistas, ginklų sandelys, salia jo iš Deltuvos gatves puses stovi karininku gyvenamasis namas. prie išlikusių pastatu butu galima priskirti viena garažų pastatą priklausanti privatiems asmenims. Išlikęs garažas yra šiauriąsias pastatas Ukmergės kareiviniu plane. Likusi karinio miestelio dalis yra nugriauta I rajono šiaurinė dalis. Toje teritorijoje buvo garažai, degaline, remonto dirbtuves. Šiuo metu dėl užteršto grunto teritorijoje vieno nevyksta. Teritorija nėra uždara todėl galima laisvai po ja pasivaikščioti. iš vaikystes pamenu kad salia pagrindinio kareiviniu pastato stovėjusios I rajone iš Smetonos gatves puses (šiuo metu nugriautas) buvo futbolo aikštė toliau i vakarus nuo jos galima rasti pratybų apkasus.
