Oscar Ekman tog initiativet, då han den 1 oktober 1862 - som en födelsedagsgåva till domprosten Peter Wieselgren - överlämnade grundplåten till en kyrka, som skulle ställas till domprostens förfogande för andlig verksamhet i Masthugget. Folket där hade ingen kyrka att besöka. Domkyrkans platser var abonnerade och Carl Johans kyrka tillhörde en annan församling. Kyrkan var tänkt för hamnens och sjöfartens arbetare och en grundläggande bestämmelse var från början, att kyrkan skulle ha fria bänkrum, där både fattig och rik skulle ha lika rätt. Kyrkan uppfördes i Majornas 5:te rote på Stigbergets norra sluttning. Det första sammanträdet med stiftarna hölls i det Carlgrenska skolhuset vid Stigbergstorget på Gustav Adolfsdagen, den 6 november 1862, då en byggnadskommitté tillsattes. Vid invigningen den 8 juli 1866 talade Wieselgren över Konungaboken 8: 22—53 och slutade sitt tal med orden: "Måtte det skarpa tveäggade svärdet här få gå igenom många själar, så att Herren må få skapa nya människor, som kunna lova och prisa Honom!"
Efter Wieselgrens död uppstod önskemål om gudstjänster och själavård för sjömän från Sverige, Norge, Danmark och Finl, vilket ledde till att Sankt Johanneskyrkan 1878 blev en sjömanskyrka. Göteborgs sjömanshus startades 1753, och från 1854 höll man till i fastigheten Stigbergsliden 8. Den blev därför en "fri" kyrka utan territoriell församling, utan pastorsexpedition, utan medlemskap och ekonomiskt oberoende av den kyrkliga förvaltningen. Detta medförde att man i Sankt Johannes mötte en friare och mera okonventionell förkunnelse än i den traditionella västsvenska kyrkligheten.
År 1975 gick Sankt Johanneskyrkan och Sjömansgården samman och bildade Stiftelsen Sjömanskyrkan i Göteborg. Kyrkan överläts 1985 av stiftelsen till Göteborgs kyrkliga samfällighet. Den hyrdes därefter ut till olika kristna församlingar i Göteborg och användes exempelvis av Masthuggets skolor för terminsavslutningar vid jul. Sedan 1996 hör kyrkan till Göteborgs kyrkliga stadsmission och är därmed en av mycket få kyrkor byggda av Svenska kyrkan, som övertagits av en privat organisation.