La vieille ville de Rozay s'est établie en amont direct de la confluence de l'Yerres et du ru des Fontaines Blanches, sur un site propice à l'établissement d'une ville fortifiée. Cette partie historique de la ville est ceinturée par des remparts prenant une forme hexagonale, situés à l'intérieur des boulevards Amiral-Courbet, La Fayette, Thiers et Gambetta, et percés de huit rues. La densité y est forte, avec des maisons contigües dont certaines remontent au Moyen Âge le long des différentes rues menant au centre situé au niveau de la place de la mairie. Dans cet espace organisé et compartimenté se trouvent des espaces verts et des potagers à l'arrière des maisons.
Au milieu du XIXe siècle, on retrouve quelques habitations hors des remparts le long des routes émanant des trois portes, devenues rue du Général-Leclerc, faubourg de Gironde et rue de Rome.
L'habitat pavillonnaire s'est développé durant la seconde moitié du XXe siècle et se trouve en périphérie à l'ouest, au nord et au sud.
L'unique hameau de la commune est Vilpré, situé en bordure de Voinsles. Il existait déjà au XIXe siècle.
Le hameau de Villeneuvotte, situé à Bernay-Vilbert, est collé à Rozay par la rue du Général-Leclerc, ancienne route nationale 4.