Die älteste urkundliche Erwähnung der Burg Canstein stammt aus dem 11. und 12. Jahrhundert. 1080 wird ein "Reinboldus de Canstein" (aus der Familie der Grafen von Everstein) urkundlich und 1120 ein „Castrum Cahenstein" als Lehen des Erzbischofs von Mainz erwähnt. In einem Güterverzeichnis (siehe: Mainzer Urkundenbuch 1, 616) des Bischofs Adalbert I. von Mainz (1111–1137) ist zu lesen, dass Reginboldus die Burg mit den zugehörigen Gütern und Hörigen zu einem nicht näher beschriebenen Zeitpunkt an das Erzstift Mainz verkauft hatte. Das Erzstift gab den Cansteinern das Gut aber wohl umgehend als Lehen zurück.
Der Cansteiner Besitz wurde von Kurmainz nach und nach veräußert: Das Augustiner-Chorfrauen Kloster Aroldessen und die Grafen von Waldeck haben Besitzanrechte erworben, die Restherrschaft wurde zwischen 1296 und 1302 an das Erzstift Köln veräußert. (Die Erzbischöfe und Kurfürsten von Köln waren seit der Ächtung des Herzogs Heinrich des Löwen 1180 durch Kaiser Friedrich I. "Barbarossa" auch Herzöge von Westfalen). Dies führte 1302 zu einer Fehde zwischen dem Erzbischof von Köln und dem Grafen von Waldeck, in deren Verlauf Burg Canstein anscheinend beschädigt oder gar zerstört wurde.
Der Kölner Erzbischof Walram belehnte im Jahr 1342 die aus der Gegend von Warburg stammenden „Gebrüder von Pappenheim“ (Rave den Älteren, Rave den Jüngeren und Herbold) erneut mit der Herrschaft Canstein und beauftragte sie, auf eigene Kosten eine neue Burg zu bauen. Diese diente der Sicherung der kurkölner Landesgrenzen gegen den Grafen von Waldeck und das Bistum Paderborn. Belehnung und Burgbau brachten erneut Streit mit den benachbarten Grafen von Waldeck, die territoriale Ansprüche auf die Herrschaft stellten. Die Waldecks erbauten zum Trotz eine Burg gegenüber von Canstein, die sie Grimmenstein nannten. Die nachfolgende Fehde endete mit einem Vergleich, Waldeck musste den Grimmenstein 1346 wieder abbrechen. (Es kam jedoch in den folgenden Jahrhunderten immer wieder zu Grenzstreitigkeiten, die erst 1648 in Artikel IV des Westfälischen Friedens endgültig beigelegt werden konnten, in dem Waldeck auf seine Territorialansprüche verzichtete.)
Die Rabe von Pappenheim nannten sich nun Rabe von Canstein. Zu der Herrschaft gehörten die Dörfer Canstein, Heddinghausen, Udorf, Leitmar und Borntosten. Unter den Cansteins, die sowohl die Niedere- als auch die Hohe Gerichtsbarkeit, die sogenannte Blutgerichtsbarkeit innehatten, erreichte die Herrschaft fast einen Reichsunmittelbaren Status.
In der Raubritterzeit machten sie sich unliebsam bemerkbar. Sie nahmen an der Soester Fehde teil, gehörten dem berüchtigten Benglerbund an und plünderten besonders die Waldeckschen Grenzorte. An den Überfall auf Mengeringhausen 1502 erinnert dort noch das so genannte "Freischießen".
Nach einer Erbteilung wird 1558 zwischen „unterem Haus“ und „oberem Haus“ unterschieden, durch Heirat gelangten schließlich die Spiegel von Desenberg in den Besitz des „oberen Hauses“. Nachdem Carl Hildebrand Freiherr von Canstein 1719 seinen Erbteil der von ihm gegründeten Bibelanstalt und dem Waisenhaus in Halle vermacht hat, wird der Restbesitz vollständig an die Spiegel verkauft. Die Burg war daher auch der Geburtsort der Brüder Franz Wilhelm (Minister des kölnischen Kurfürsten) und Ferdinand August von Spiegel (Erzbischof von Köln)
1837 verkauften diese an die Grafen von Spee, bereits 1846 kam die Familie von Croy in den Besitz der Burg. Seit 1853 ist die Burg im Besitz der Freiherren von Elverfeldt, die große Umbauten vornahmen und die alte Hauptburg um 1900 durch ein Schloss ersetzten.