According to Tertullian, as quoted by Saint Jerome, in year 92, St John the Evangelist survived martyrdom in Rome under the Emperor Domitian by being immersed in a vat of boiling oil, from which he emerged unharmed. He was later exiled to the island of Patmos. This event was traditionally said to have occurred at the Latin Gate (located on the southern portion of the Roman wall). The nearby chapel of San Giovanni in Oleo is said to be on this very spot. The event was referred to in the Roman Martyrology, which was begun in the seventh century, when already there was a celebration of the event. A feast in the Roman calendar also celebrated the event until 1962, when it was removed from calendar, being the second feast of a single saint.
The tradition for the building of the Basilica of St. John at the Latin Gate places its construction during the pontificate of Pope Gelasius I(492-496). This is consistent with the oldest of the roof tiles, which have the imprint of a taxation stamp for the Ostrogoth King and ruler of Italy Theodoric the Great (reigned 493-526). One of these ancient roof tiles is now used in the Basilica as a lectern. In the 8th century, the Basilica was restored by Pope Adrian I, and later the bell-tower and portico were added and, at the end of the 12th century, the Basilica was reconsecrated by Pope Celestine III. In the 16th and 17th centuries, a Baroque ceiling and other Baroque features were added to the interior. In the years 1940-1941, the Baroque features were removed and the Basilica was returned to a more primitive simplicity. This last renovation was carried out by the Rosminian Fathers, who, in 1938, were given care of the Basilica and the nearby building, where they opened the Collegio Missionario Antonio Rosmini which houses their International House of Studies.
La basilica fu fondata nel V secolo o alla fine del IV, ricostruita certamente nel 720 e restaurata nel 1191, con l'aggiunta di un nuovo bel campanile a sei ordini di bifore e di un nuovo ciclo di affreschi con ben 46 scene bibliche sia vetero che neotestamentarie. L'importante ciclo di affreschi, recentemente restaurato, rappresenta insieme al salone gotico nel Monastero dei Santi Quattro Coronati, uno degli esempi maggiori di pittura medioevale nella Capitale realizzati precedentemente all'importante periodo del Cavallini e della sua Scuola Romana. Tra il XVI e il XVII secolo fu arricchita da un nuovo affresco absidale su cartone del Cavalier d'Arpino. Un ulteriore rifacimento, che la riportò alle antiche caratteristiche medievali, si ebbe nel 1940-41, quando la basilica fu assegnata ai Rosminiani, che oggi nel plesso conventuale adiacente vi hanno la curia generalizia dove risiede il moderatore generale della congregazione e lo studentato internazionale. Il portico medioevale e le navate della basilica sono sostenuti da colonne classiche provenienti da costruzioni antiche della zona appartenenti, secondo la leggenda, ad un tempio di Diana, parzialmente spogliate a favore del Laterano alla fine del XVIII secolo.
L'oratorio di San Giovanni in Oleo, che sorge sulla via Latina nelle vicinanze della basilica, sarebbe stato costruito esattamente sul luogo della tortura a cui l'Evangelista era miracolosamente sopravvissuto. Mentre la chiesa è un po' nascosta, chi entrva a a Roma da Porta Latina se lo trovava subito davanti, e poteva fare un'orazione lì, prima di attraversare il disabitato. Il tempietto era stato ricostruito a pianta ottagonale nel 1509 e fu fatto restaurare dal cardinale titolare Francesco Paolucci, attorno al 1660, per mano del Borromini.