Scherbrovy Domky vznikly původně jako obydlí a provozní zázemí havířů, kteří zde těžili cínovou rudu (kassiterit) na nedalekém dole Drahá kožešina, a to zřejmě již od prvních desetiletí 16. století až do počátku 19. století.
O počátečním období hornických prací se nedochovaly bližší zprávy, k oživení těžby došlo opět koncem 18. století, kdy se o zdejší doly zajímal i erár a k otevření ložiska byla používána odbočka štoly Hilfe Gottes, z níž byly těženy železné rudy na Bludné. Důl Drahá kožešina zároveň ležel nedaleko Blatenského příkopu a je pravděpodobné, že vodu z tohoto důmyslného náhonu využíval k pohonu některých báňských provozů.
Název Scherberhäuser souvisí zřejmě se jménem prvních osadníků nebo těžařů.

Jeden z domků z doby Rakouska Uherska
Objevuje se již na císařských otiscích stabilního katastru (1842), na starší mapě z 1. vojenského mapování (2. pol. 18. st.) jsou sice na místě Scherbrových Domků zakresleny objekty, ale bez názvu. V té době připadaly Scherbrovy Domky pod Jáchymovské lesní panství, a zdejší cínové doly se řadily mezi četné tzv. lesní cínové doly vrcholové části Krušných hor.
Od roku 1850 náležely Scherbrovy Domky pod Ryžovnu, ležely přitom v nadmořské výšce 1010 m přímo na hranici jejího katastru, na druhé straně cesty spojující Bludnou s Háji již začínal katastr Potůčků.
Po zániku dolování se z Scherbrových Domků staly zemědělské usedlosti, vlastníkem domu č. 18 byl před 2. světovou válkou Wilhelm Geyer, domu č. 19 pak Josef Porkert.

Foto z roku 1910
Zdroj : Zaniklé obce