Obszary północnej i środkowej Polski pokryte są tworami polodowcowymi – składają się na nie głazy, żwirowiska, piaski, mułki, różne gliny i iły. Obok całkowicie zwietrzałych skał moreny zawierają też materiał grubszy – zaokrąglone bryły i wielkie bloki, często o objętości wielu metrów sześciennych. Część z nich uległa zniszczeniu, jednak te utworzone ze skał odporniejszych zachowały się do naszych czasów.
Według danych z 31 grudnia 2014 roku liczba głazów narzutowych w formie pomników przyrody nieożywionej w Polsce wynosiła 1083. Najwięcej głazów objętych ochroną znajduje się w województwie mazowieckim (195), a najmniej w podkarpackim (10). W województwie pomorskim jest ich 169.
Jednym z nich jest właśnie granitowy Lipowy Kamień, którego wysokość wynosi 1,4 m a obwód 7,85 m.