В 1824 году была построена двухэтажная усадьба.
До сих пор она является одним из загадочных мест Екатеринбурга.
Первоначально здание было возведено для купца второй гильдии, старообрядца Расторгуева Льва Ивановича. После его смерти дом перешёл во владение к зятю купца, Харитонову Петру. Доподлинно неизвестно, кто является архитектором знаменитой усадьбы
Расторгуевых-Харитоновых. Одни говорят, что это был бессрочный каторжник, другие ссылаются на французского зодчего.
В конце ХIХ века дом стали сдавать частями в аренду под квартиры и конторы. После революции в здании размещался Урало-Сибирский коммунистический университет. В 30-е годы ХХ века памятнику архитектурного наследия эпохи классицизма нашли достойное применение.
1 сентября 1937 года в здании открылся Дворец пионеров и школьников со множеством кружков и секций. Зимой очень популярной была новогодняя ёлка, а летом местом отдыха становился Харитоновский парк.