Pyhäjärven kaupunki sijaitsee Pohjois-Pohjanmaan maakunnan eteläosassa rajautuen Keski-Suomen ja Pohjois-Savon maakuntiiin. Pyhäjärven naapurikuntia ovat Haapajärvi, Kiuruvesi, Kärsämäki, Pielavesi, Pihtipudas ja Pyhäntä. Pyhäjärvi on käyttänyt aiemmin Pyhäsalmi nimeä keskustaajamansa mukaan.
Pyhäjoen latvoilla Pyhäjärven kunnassa sijaitseva Pyhäjärvi on suurin järvi, joka sijaitsee kokonaan Pohjois-Pohjanmaan maakunnassa. Viisi seuraavaksi suurinta järveä sijaitsevat maakunnan toisella laidalla, Koillismaalla. Pyhäjärven ala on 121,8 km², Suomen järvien pinta-alatilastossa se on sijalla 38.
