Op deze plaats stond een kapel die fungeerde als burchtkapel voor de baanderheren van Diest. Deze heren verbleven in een nabijgelegen burcht (afgebroken in 1512) op een heuvel, anno 2009 gekend als de Warande. De kapel werd voor het eerst vermeld in 1211. Ze werd, samen met haar bezittingen en tienden door de toenmalige heer van Diest, Arnold IV geschonken aan de abdij van Tongerlo op voorwaarde dat de premonstratenzers uit de abdij de kapel zouden bedienen. Haar aanstelling tot parochiekerk in 1253 en de groei van Diest maakte de kapel te klein.
De Onze-Lieve-Vrouwekerk werd gebouwd tussen 1253 en 1288, in vroeggotische stijl. Geuzen verwoestten de kerk en stalen alle metaal toen de kerkmeesters niet ingingen op hun geldelijke eisen.
De kerk verloor de verdiepingen van haar toren toen die instortte in 1612. Ze kreeg een nieuw arduinen portaal (barok) in 1777. Opvallend in het arduinen roosvenster in de westgevel.
In de nacht van 2 op 3 juli 1830 kwamen de gewelven van het koor naar beneden. Men overwoog om de kerk niet meer te herstellen omwille van de hoge herstellingskosten. Einde 19e eeuw werd de kerk toch gerenoveerd en men dacht eraan een 65 m hoge toren toe te voegen. Die is er niet gekomen.