Cmentarz żydowski w Ostrowcu Świętokrzyskim przy obecnej ul. Sienkiewicza powstał zapewne w 1734 roku. Datę tę podaje Joske Apter w Księdze Pamięci Ostrowca Świętokrzyskiego, również protokół lustracyjny gminy z 1929 r. wymienia cmentarz wyznania mojżeszowego, istniejący ponad dwieście lat, z najstarszą macewą pochodzącą z 1734 roku. Przypuszczalnie był to nagrobek rabina Naftalego syna Herca, odnowiony w okresie międzywojennym. Wiadomo, że nekropolia była ogrodzona, przy wyjściu znajdowało się miejsce do rytualnego obmycia rąk oraz niewielki budynek zamieszkany przez dozorcę-grabarza. Wśród nagrobków widoczne były ohele, chroniące groby miejscowych rabinów. Autorzy "Księgi Pamięci" tak opisują swój cmentarz: "Żydzi z Ostrowca byli dumni, że cmentarz położony był w centrum miasta i wyglądał jak piękny ogród (....) Wielu znakomitych ludzi i wielkich rabinów znalazło na nim miejsce swego ostatniego spoczynku". Na cmentarzu chowano Żydów z Ostrowca Św. oraz innych miejscowości, takich jak: Bodzechów, Boria, Chmielów, Częstocice, Denków, Goździelin, Grójec, Miłków, Mychów, Podgórze, Sarnówek, Stoki Małe, Waśniów.
XIX-wieczna społeczność żydowska Ostrowca Św. - a przynajmniej jej część - podzielała ludowy przesąd o możliwości powstrzymania zarazy poprzez zaaranżowanie na cmentarzu ślubu. Wiadomo, że taki ślub odbył się pod koniec 1893 r. Relacjonowała go "Gazeta Warszawska" z 07.12.1893 w artykule Ślub na kirkucie (pisownia oryginalna): "Epidemia jeszcze u nas straszy - ale już słabnie. Dnia 28-go listopada żydzi kosztem kahału pożenili parę biedaków, urządzając ich wesele na kirkucie. Młoda para, z muzyką, w orszaku kilkutysięcznego tłumu kilkakrotnie obeszła miasto, poczem podążyła na cmentarz. Ceremoniał ten miał służyć dla zażegnania epidemii. Podobno zebrano pomiędzy żydami na ten cel kilkaset rubli. Całe miasto ogromną przypisuje wagę tej uroczystości, która ma wyekspedyować epidemię cholery z naszego miasta".
W latach II wojny światowej na terenie cmentarza rozstrzelano wielu żydowskich mieszkańców Ostrowca. Autorzy "Księgi Pamięci" podają, że podczas "akcji likwidacyjnej" miejscowego getta, na cmentarzu pochowano około tysiąca ofiar, "we wspólnym grobie, warstwa na warstwie, jeden na drugim". Naziści zdewastowali nekropolię - z macew wykonano bruk na ul. Czerwieńskiego, zniszczono ohele i ogrodzenie.
W 1960 roku pozostałe na terenie cmentarza 157 nagrobki przeniesiono do północno-wschodniej części nekropolii i ustawiono w regularnych rzędach. W 1979 roku rozebrano bruk na ul. Czerwieńskiego i odzyskane w ten sposób fragmenty macew złożono na cmentarzu. W 1997 r. część tych macew przytwierdzono do muru, a z części wykonano podstawę pod tablicę informacyjną - tablica ta jednak bardzo szybko uległa zniszczeniu, pozostały po niej jedynie metalowe ramy.
W 1980 r. Adam Penkalla - nieżyjący już badacz judaików - wykonał inwentaryzację 157 macew, ustawionych w rogu cmentarza. Daty śmierci udało się odczytać na 123 nagrobkach. Większość z nich pochodzi z okresu międzywojennego, pozostałe powstały w drugiej połowie XIX wieku. Ostrowieckie macewy były dziełem miejscowych kamieniarzy, używających piaskowca z lokalnych kamieniołomów. Wymiary nagrobków wskazują, że wiele wyprodukowano seryjnie, wykuwając jedynie odpowiedni tekst i zdobienia. Jednak - jak zauważa A. Penkalla - "kamieniarzom żydowskim nie brakło wyobraźni. Nie ma bowiem dwóch takich samych obiektów. Każdy różni się detalem, formą symboliki czy też tekstem inskrypcji". Na cmentarzu w Ostrowcu dominują tradycyjne macewy - pionowe płyty z hebrajskimi inskrypcjami oraz symboliczną dekoracją - między innymi świecami, koronami, lwami, ptakami - w półokrągłym zwieńczeniu. Na ich tle wyróżnia się nagrobek lekarki Róży Malingerowej, wykonany w formie obelisku z polskojęzycznym epitafium. Warto tu nadmienić, że językiem używanym przez Żydów do sporządzania inskrypcji na macewach przez setki lat był hebrajski, a pojawienie się w połowie XIX na nagrobkach innych języków - polskiego, niemieckiego czy rosyjskiego - było przejawem asymilacji polskich Żydów. Wśród traw można odnaleźć pozbawioną dekoracji, z dość prymitywnym liternictwem, płytę nagrobną upamiętniającą miejscowego cadyka Meira Jechiela syna Awrahama Icze Ha-Lewi Halsztoka, zmarłego w dn. 11 marca 1928 r (19 adar 5688 r.). Wyryto na niej napis: "Tu spoczywa święty rabin, światłość diaspory, przewodniczący świętej gminy Ostrowiec, Meir Jechiel Ha-Lewi Halsztok zmarły 19 miesiąca adar 5688 roku". Do czasów II wojny światowej macewa ta znajdowała się wewnątrz ohelu.