Rottleberode entstand bereits im 10. Jahrhundert. Wilhelm, der Erzbischof zu Mainz besaß hier einen Hof, er starb im Jahre 968 in Rottleberode[1], was zur ersten urkundlichen Erwähnung des Ortes führte. Rottleberode verfügte bereits 994 über das Markt-, Münz- und Zollrecht. Später gelangte der Ort in den Besitz der Grafen zu Stolberg, die den Ort in das Amt Stolberg der Grafschaft Stolberg-Stolberg integrierten. Bis 1815 stand Rottleberode unter der Oberhoheit des Königreichs Sachsen und gelangte dann an den Regierungsbezirk Merseburg der preußischen Provinz Sachsen. 1819 lebten in Rottleberode 662 Einwohner in 119 Häusern.
Während des Zweiten Weltkrieges wurde das Außenlager Rottleberode des KZ Buchenwald (das später dem KZ Dora-Mittelbau unterstellt war) eingerichtet sowie ein diesem unterstelltes Unterkommando in Stempeda, in denen etwa 1.300 KZ-Häftlinge unter anderem bei der Teilmontage für die Junkers Flugzeug- und Motorenwerke Zwangsarbeit verrichten mussten. Bei der Rüstungsfirma Stock & Co. wurden polnische und ukrainische Zwangsarbeiter bei der Munitionsherstellung eingesetzt. Durch die solidarische Hilfe einer Widerstandsgruppe unter Beteiligung der Krankenschwester Elsa Neumann und des Kommunisten Paul Rößler wurde Sabotage verübt.[2]
Bei dem britischen Bombenangriff auf Nordhausen am 3. April 1945 wurden auch vier Einwohner von Rottleberode getötet.
Von 1952 bis 1990 gehörte Rottleberode zum DDR-Bezirk Halle.
Geprägt wurden der Ort und seine Umgebung durch einen jahrhundertealten Bergbau auf Eisen, Buntmetalle (Kupferschiefer), Flussspat und Gips. Zahlreiche kleinere und größere Halden in der näheren Umgebung sowie Pingen und überlieferte Namen, wie Kupferhütte und Hüttenhof sind Zeugen der Gewinnung und Verhüttung dieser Bodenschätze. Erwähnenswert ist der „Flussschacht“ bei Rottleberode im Krummschlachttal. Anfang des 20. Jh. war hier die damals größte Flussspatlagerstätte Mitteleuropas aufgeschlossen. Der Produktionsbetrieb wurde 1989 wegen Erschöpfung der Vorräte eingestellt.
Am 1. Januar 2010 schlossen sich die Gemeinden Rottleberode, Bennungen, Breitenstein, Breitungen, Dietersdorf, Drebsdorf, Hainrode, Hayn (Harz), Kleinleinungen, Questenberg, Roßla, Schwenda und Uftrungen zur neuen Gemeinde Südharz zusammen.[3] Gleichzeitig wurde die Verwaltungsgemeinschaft Roßla-Südharz, zu der Rottleberode gehörte, aufgelöst.