Den lilla kyrkoruinen i Rytterne är en av Västmanlands äldsta kristna minnemärken. Kyrkan uppfördes redan under 1200-talet och bildade eget pastorat ihop med Stora Rytterne kyrka år 1325. De båda kyrkorna stod alltså här i bygden redan när digerdöden härjade i landet.
I samband med att Rytterne kyrka byggdes i början av 1800-talet beslöt man sig i bygden för att riva medeltidskyrkorna. Material från de båda äldre kyrkorna togs till det nya bygget och kvar lämnades två ruiner. Den lilla kyrkans altarskåp, från 1400-talet, finns att beskåda i Rytterne kyrka. Den sista gudstjänsten i Lilla Rytterne kyrka hölls år 1817 och den var öppen för begravningar fram till år 1841.
