1382 m. liepos 1 d. rašytiniuose šaltiniuose pirmą kartą paminėtos Rumšiškės. Įvykiai susiję su vidaus kovomis tarp Jogailos ir Kęstučio, kai tų metų birželio 12 d. Vilniuje Kęstučio nuversto Jogailos šalininkai įvykdė perversmą. Gavęs žinią kad sostinė yra jo šalininkų rankose, Jogaila atvyko į Vilnių ir netrukus apgulė Trakus. Kaip tik tada Vokiečių ordino kariuomenė įžengė į Lietuvą pagelbėti Jogailai ir patraukė per Rumšiškes į Trakus. Vygando Marburgiečio kronikoje aprašomas kryžiuočių žygis į Lietuvą, kurio metu pirmą kartą Rumšiškes ir paminėtos
Miestelis augo patogioje vietoje - prie Vytauto Didžiojo vieškelio ir Nemuno. Dvaras neturėjo didelės įtakos Rumšiškių augimui, nes miestelėnai buvo nepriklausomi jam. Jau 1700 m. Rumšiškės vadinamos miestu, o 1791 m. pakartotos miesto privilegijos ir suteikiamas herbas -trys baltos lelijos raudoname fone. 1998 m. dailininko R. Miknevičiaus atkurtą Rumšiškių miesto herbą aprobavo Lietuvos heraldikos komisija (raudoname lauke trys dvigubos sidabrinės lelijos).
XX a. pradžioje čia buvo ligoninė, orų stebėjimo stotis, 6 alinės ir karčemos, degtukų fabrikas, 3 mokyklos. Prie esamų 300 suprojektuoti 218 naujų sklypų, pagaminta 300 tūkst. plytų mūrinės bažnyčios statybai. Tačiau viską sujaukė Pirmasis pasaulinis karas. 1923 m. miestelyje gyveno 1100 gyventojų, o iki 1938 m. gyventojų skaičius pasiekė 1192.
Deja, per Antrąjį pasaulinį karą miestelis sudegė, beliko tik porą dešimčių aprūkusių sodybų. Iki 1958 m., kai prasidėjo kėlimasis iš būsimų Kauno marių dugno, jau buvo 111 kiemų. Miestelis buvo perkeltas 2 km Pravieniškių link.