Författaren, journalisten m.m. Viktor Rydberg föddes den 18 december 1828 i Jönköping. Under åren 1855-1876 var han journalist, och medlem i redaktionen, på Göteborgs Handels- och Sjöfartstidning. Han bodde under dessa år hos sin gode vän och tidningens chefredaktör S. A. Hedlund. Rydberg bodde dock inte i Tomtehuset under dessa år, eftersom detta hus uppfördes av Hedlund först år 1890. På andra våningen mot Vasagatan finns väggmålningar som avspeglar husets första invånare och deras yrken. På målningarna syns bland annat tomtar sysselsatta med tidningsläsande och fotografering.
Ett av Viktor Rydbergs mest berömda verk är dikten Tomten:
Midvinternattens köld är hård,
stjärnorna gnistra och glimma.
Alla sova i enslig gård,
djupt under midnattstimma.
Månen vandrar sin tysta ban,
snön lyser vit på fur och gran,
snön lyser vit på taken.
Endast tomten är vaken.