La Villa de Yepes, posiblemente tuviese origen hebreo. Se la conoce en la comarca como la Toledillo, por su importancia histórica y su riqueza monumental. Las primeras informaciones sobre este lugar datan del siglo XIII, con motivo de la cesión del señorío que hizo el rey Alfonso VII a los arzobispos toledanos, que lo mantuvieron hasta la llegada de Felipe II. Al año siguiente, Alfonso VIII hizo entrega de Yepes al arzobispo Jiménez de Rada, y en el año 1223 éste otorgó a la villa el fuero de población.
Paseando por Yepes pueden verse restos de su recinto amurallado, entre ellos la torre Sur.
La torre Sur situada en la calle Fray Diego, esta construida en mampostería encintada. Contaba con cuatro pisos en altura a las que se ascendía por una escalera lateral. En la actualidad reformada, le falta el último piso y está rematada por una cúpula, conservando restos de ladroneras con canes de sostén