W latach 1949–1952 praktycznie we wszystkich miastach wojewódzkich i powiatowych istniały ośrodki ZHP. W 1950 roku otrzymały nazwę Domów Harcerza.
– Organizatorem tych placówek był ZHP do momentu, kiedy organizację uznano za niezgodną z ówczesną ideologią – wyjaśnia Robert Och, historyk. – Nadzór nad domami przejmuje Związek Młodzieży Polskiej, co jest wstępem do wchłonięcia organizacji harcerskiej. W końcu ZHP zostaje przemianowane na Organizację Harcerską z innymi hasłami, ideologią, przygotowaniem, bardzo upolitycznioną, etc.
Puławski Dom Harcerza został powołany uchwałą Zarządu Powiatowego ZMP 3 marca 1950 roku. Działalność rozpoczyna 20 maja. Osobą odpowiedzialną za jego zorganizowanie jest Kazimierz Danilczuk, pracownik Zarządu Wojewódzkiego ZMP. Władze powiatowe na siedzibę wyznaczyły kamienicę przy ul. Zwycięstwa w centrum miasta.

Uczestnicy Domu Harcerza w oczekiwaniu na gości rosyjskich w dniu 27.10.1953 r.
Nowa siedziba
– Budynek z białego kamienia należał do doktora Sowiakowskiego, który z rodziną wyjechał do Szczecina – opowiada R. Och. – To był dom zbudowany przed wojną przez Jana Albrychta dla Jana Kleniewskiego, właściciela Kluczkowic. Lekarz odkupił go od Kleniewskiego. Ciekawy był sposób zadysponowania tym domem. Uchwała Zarządu Powiatowego ZMP z 1951 roku zobowiązywała „do opróżnienia przez Prezydium Miejskiej Rady Narodowej lokalu przy ul. Zwycięstwa 46 i oddania go do zagospodarowania przez Dom Harcerza”. Zwróćmy uwagę – organizacja młodzieżowa nakazuje Radzie Narodowej wykonanie polecenia!
Stanisław Jednacz we wspomnieniach tak opisuje tę kamienicę: „Ta jednopiętrowa kamienica położona w centrum miasta posiadała 4 izby do prowadzenia zajęć. Początkowe wyposażenie to: 10 krzeseł, 2 stoły (wypożyczone), 1 akordeon, 1 radioodbiornik. Znajdowały się tam też dwie czy trzy szafki z kompletem narzędzi do obróbki drewna i metalu. Szafki narzędziowe otrzymano ze zlikwidowanej kwatery głównej ZHP zaś pozostały sprzęt zakupiono za pieniądze przekazane z Zarządu Wojewódzkiego ZHP”.
