Początki wsi nie są znane. W niemieckiej literaturze podkreślano staroniemieckie i słowiańskie pochodzenie tej nazwy. Istniała tu średnia osada słowiańska i gródek, których ślady potwierdziły odkrycia archeologiczne z okresu międzywojennego. Na pewno Grudza istniała już w XVw. i być może od razu wchodziła w obręb dóbr klasztoru benedyktynek w Lubomierzu. Istnieją przypuszczenia, że wieś może być starsza, ale wydaje się, że pierwsza wzmianka odnosi się do Lasu Rębiszowskiego, który stał się własnością klasztoru w 1307 roku.
Na pewno Grudza od 1545r. wchodziła w obręb dóbr benedyktynek z Lubomierza i ich własnością pozostawała aż do kasaty w 1810r. Po wojnie 30-letniej założono Kłopotnicę, która uchodziła za kolonię Grudzy.
Po sekularyzacji dóbr klasztornych Grudza wchodziła nadal w obręb tej samej posiadłości, ale była ona zarządzana przez królewski urząd dzierżaw w Lubomierzu. W 1825r. były tu już 203 domy, kościół katolicki, szkoła z nauczycielem i pomocnikiem nauczyciela oraz wiatrak. Wśród mieszkańców było 6 tkaczy bawełny i 6 lnu oraz po 3 bednarzy, kowali i ślusarzy. Ewangeliccy mieszkańcy wsi należeli do parafii w Proszowej. W 1840r. liczba domów wzrosła do 218. Przy kościele i szkole działała fundacja. Do parafii należała też Kłopotnica i Nowa Kamienica z powiatu jeleniogórskiego. Pomocnik nauczyciela obsługiwał szkołę filialną w Kłopotnicy. Nadal był wiatrak i browar. Działało 400 prządków, 10 rzemieślników i 23 handlarzy, a więc praktycznie cała dorosła ludność utrzymywała się głównie z tkactwa lub innych rzemiosł. Miejscowe warunki glebowo-klimatyczne nigdy nie sprzyjały rozwojowi rolniczemu.
W 1865r. przeprowadzono linie kolejową i chociaż w Grudzy nie powstała stacja, przyczyniła się do zainteresowania wsią. W 2poł. XIXw. Grudza zaczęła być wsią letniskową, chociaż nigdy nie zyskała dużej renomy. Opisywano ją w przewodnikach, zachwalano widoki, a wiatrak przekształcono w wieżę widokową, przy której powstała gospoda.
Obecnie wiatrak i gospoda popadają w ruinę.
Skrytka mikro typu PET umieszczona jest przy punkcie widokowym wykonanym przez mieszkańców wsi.
