Muurin rakentaminen aloitettiin Qin-dynastian aikana "ensimmäisen keisarin" Qin Shihuangdin käskystä. Tämä muuri oli 4 500 kilometriä pitkä, ja rakentamiseen joutui osallistumaan pakkotyövoimana merkittävä osa Kiinan väestöä. Muurin rakentaminen oli osittain jo taistelevien läänitysvaltioiden kaudelta periytyvien lyhyempien muurien yhdistämistä. Rakennustyöt kestivät kymmenkunta vuotta. Qin-dynastian aikainen muurin osuus on ulottuu Jilinin maakunnassa Linzhaosta (nykyisen Gansun itäosissa) Liaodongiin.
Han-dynastian aikana muuria jatkettiin, osin silkkitien suojaksi, länteen Gansussa sijaitsevaan Hexin käytävään ja Xinjiangin alueelle. Myös Pohjoinen Wei-dynastia, Pohjoinen Qi-dynastia ja Sui-dynastia jatkoivat muurin rakentamista.
Seuraava merkittävä muurin rakennusvaihe oli Ming-dynastian aikana, ja nykyisin esimerkiksi Pekingin lähellä sijaitseva muuri on Ming-dynastian muuria. Ming-muuri rakennettiin erittäin kestävästä tiilestä ja laastista, jollaisia Euroopassa ei osattu tehdä vielä satoihin vuosiin.lähde? Muuria rakennettiin noin kilometrin päivävauhtia yli 300 000 hengen voimin. Rakennustöissä kuolleet haudattiin muurin alle.lähde? Ming-muurin keskimääräinen korkeus on 8 metriä ja leveys 6 metriä. Se kulkee jyrkkienkin vuorten yli jopa 70 asteen kulmassa. Ming-dynastian muuriin rakennettiin tietyin välimatkoin myös kulkuväyliä ja vahtitorneja. Ming-dynastian muuri on yli 6 500 kilometriä pitkä, ja se ulottuu Heilongjiangista Yalujiang-joelta Liaoningin, Hebein, Sisä-Mongolian, Shanxin, Shaanxin ja Ningxian kautta Gansuun ja Gobin autiomaahan.
Muurista huolimatta pohjoiset kansat ovat aikojen kuluessa vallanneet Kiinan pariin otteeseen. Yuan-dynastia oli suuren Mongolivaltakunnan osa, ja tällöin Pohjois- ja Etelä-Kiina olivat erillisiä valtioita, mikä heikensi puolustusta. Qing-dynastia puolestaan oli mantšujen dynastia. He pääsivät Ming-dynastian muurin ohi sopimuksella kiinalaisen kenraalin kanssa. Qing-dynastian valtakaudesta lähtien muuri menetti puolustuksellisen merkityksensä, koska Kiina ulottui muurin pohjoispuolellekin, Mantšuriaan ja Sisä-Mongoliaan.