Den första kyrkan i Rumskulla byggdes under medeltiden och omnämns för första gången 1320. Träkyrkan var uppförd av liggtimmer och hade spånade ytterväggar. Kyrkobyggnaden bestod av ett långhus med ett smalare lägre kor och en sakristia av sten. 1418 försågs kyrkan invändigt med målningar. 1744 föreslog biskop Andreas Olavi Rhyzelius att målningarna skulle utstrykas, vilket skedde några år senare då nya dekorationer i barockstil tillkom. Befolkningen kom att bli alltmer talrik och trots att man byggde ut kyrkan under mitten av 1700-talet räckte den ändå inte till. Man började planera att ersätta kyrkan med en ny och större.
År 1792 började man föra fram material till en ny kyrka av sten. Förberedelserna fortsatte fram till 1817. Efter en tioårig paus återupptogs arbetet. Definitivt beslut att bygga ny kyrka togs år 1832. Två år senare påbörjades grundläggningsarbetena.
Nya stenkyrkan uppfördes omkring den gamla så att gudstjänsterna kunde fortsätta ostört under byggnadstiden. Sommaren 1835 revs medeltidskyrkan och 11 oktober samma år hölls den första gudstjänsten i nya kyrkan.
10 juni 1838 invigdes kyrkan av biskop Johan Jacob Hedrén. Av ursprungliga träkyrkan som revs 1835 finns några enstaka brädor och stockar bevarade.
Nuvarande kyrka är uppförd i nyklassicistisk stil med murar av sten och tegel som är spritputsade och avfärgade i gult. Ingångar finns mitt på långhusets norra och södra sida samt på västra sidan genom tornet. Kyrkan har ett runt korparti i öster där sakristian är inrymd. Kyrktornet har en öppen vitmålad lanternin av trä som kröns av ett förgyllt kors.
Kyrkans tak var från början belagt med järnplåt, men 1970 lät man byta ut den rostskadade järnplåten till lackerad aluminiumplåt. För kyrkor var detta takmaterial helt nytt så Rumskulla kyrka blev en försökskyrka. Man försökte så långt som möjligt få plåten att likna järnplåt.
Sedan färdigställandet har kyrkan inte genomgått några genomgripande förändringar. 1904 ägde den viktigaste förändringen rum då ett medeltida altarskåp från föregående kyrka sattes upp som altarprydnad. Tidigare stod ett kors på altaret som var flankerat av två gipsfigurer föreställande Bönen och Ordet.
Har har CO varit på ett flertal konserter. CO har viss anknytning till äldre anor med ingifta men mest har CO Djursdala församling som grundpåle.