История Казенной Губернской Контрольной Палаты, в здании которой сегодня находится музей, восходит к первой половине 30-х годов XIX века, ко времени губернаторства В.А. Перовского. Тогда это было частное владение винного откупщика А.И. Еникуцева, построенное на месте старых винных подвалов.

Здание несколько раз перестраивалось, пока его фасады приобрели тот внешний облик, который дошел до наших дней. В центре главного фасада возвышается шестиколонный портик, увенчанный треугольным фронтоном. Фасады украшены тщательно прорисованными лепными деталями с характерными для ампира изображениями розеток, масок, изысканного растительного орнамента. Ограждение галереи центрального портика акцентировано ажурной литой решеткой.

В 1852 году здание вместе с двумя дворовыми флигелями было приобретено в казну для канцелярии генерал-губернатора В.А. Перовского. После упразднения генерал-губернаторства в 1881 году в городском особняке размещались различные административные учреждения, а в 1946 году здание было передано музею.