Kohlhausen liegt im Fuldatal und breitet sich am Westhang des Johannesberges aus. Der Stadtteil liegt am rechten Ufer der Fulda, etwa fünf Kilometer südöstlich von Bad Hersfeld entfernt. Kohlhausen ist über die Landesstraße 3431 zu erreichen, die in Asbach von der Bundesstraße 62 abzweigt. Das bebaute Gebiet liegt auf 201 m ü. NN an der Fulda und steigt bis auf 265 m ü. NN an den Hängen des Johannesberges (368 m ü.NN) an.
Benachbarte Orte (im Uhrzeigersinn) sind Asbach im Westen, der Eichhof im Nordwesten, der Johannesberg im Nordosten, Kerspenhausen im Süden und Beiershausen im Südwesten. Die Gemeinde Niederaula grenzt im Süden an.
Am 31. Dezember 1971 wurde Kohlhausen in die Kreisstadt Bad Hersfeld eingegliedert.
Weiterhin von Interesse ist der sogenannte „Gänserasen“. In den Sommermonaten kommen viele Touristen dorthin, um den sich hier bietenden Ausblick auf die Fulda anzusehen. Auch ein Bad ist hier in der Fulda möglich und ein Bootssteg für Kanuten und andere Ruderer steht am Gänserasen zur Verfügung. Auf dieser Wiese befinden sich auch zwei Fußballtore.