Построен в кирпиче, асимметричен в плане и объемах. Первоначальная планировка не сохранилась. Во второй половине XIX в. здание подверглось капитальной перестройке. Его фасады получили стилевую трактовку в духе швейцарских шале (архитектурные детали в резном дереве, фахверк декоративный). Ранее примыкавшая к главному фасаду оранжерея не сохранилась.
В 1459 г. киевский князь Семён Олелькович подтвердил право основателя рода крупных землевладельцев Шашкевичей на владение землями в окрестностях нынешнего Комаргорода. Первое упоминание поселения на реке Русаве относятся также к XV в. Комаргород был заложен, по всей видимости, шляхтичем Комаром-Забужинским; слово «город» в названии свидетельствует о намерении владельца построить укреплённое поселение. На картах Украины 1648 г. и Брацлавского воеводства 1650 г., составленных Гийомом Бопланом вокруг Комаргорода изображены оборонительные сооружения. С 1626 г. Комаргородом владели князья Четвертинские. После заключения Зборовского мирного договора (1649), по которому Брацлавское воеводство передавалось под управление Богдана Хмельницкого, Комаргород стал сотенным городом казацкого Брацлавского полка. В течение второй половины XVII в. город практически всё время управлялся казаками, 1664 г. в нём насчитывалось всего 18 «дымов» и мельница. В начале XVIII столетия в местечко вернулись князья Четвертинские. В 1773 г. местечко получило от владельцев привилегию на проведение ежемесячных ярмарков. После Второго раздела Польши и образования Подольской губернии Комаргород стал волостным центром Ямпольского уезда. Вообще о Комаргороде известно очень мало. Ну это пока.
Комаргород, принадлежал ранее князьям Четвертинским. Например тут родился князь Владислав Святополк-Четвертинский (W?adys?aw ks. ?wiatope?k-Czetwerty?ski) (1806-1870), который был женат на Гонорате Олизар-Волчкевич (Honorata Olizar-Wo?czkiewicz), в Комаргороде же родились и их сыновья - князья Стефан Владиславович (Stefan ?wiatope?k-Czetwerty?ski) (в 1846-м году) и Эммануэль Владиславович (Emanuel ks. ?wiatope?k-Czetwerty?ski) (в 1850-м году), сыновья, а также их двоюродная сестра, Ядвига Борисовна (в 1838 или 1842 -м году).
Примерно в середине XIX века имение отходит в собственность Николаю Петровичу Балашеву, егермейстеру Двора Его Величества, русскому государственному деятелю. Балашов принадлежал к одной из богатейших семей России (на 1906 за ними числилось 330 000 дес, в т.ч. — в Киевской губ. — 43 000 дес, в Уфимской - 250 000 дес, в Саратовской — 35 000 дес, в Подольской - 12 000 дес).
Николай Петрович Балашов родился 12 сентября 1840 года, умер в Шавиле - окраине Парижа 4 апреля 1931 года. Он происходил из русского дворянского рода начала XVII века. В 1861 году Николай Балашов окончил юридический факультет (по разряду административных наук) Петербургского университета. Его отец - Пётр Александрович Балашов (1811-1845) был штабс-капитаном лейб-гвардейского Измайловского полка (1838), а впоследствии стал камергером. Мать Н. П. Балашова - Александра Ивановна - урожденная княжна Паскевич (1818—1845), с 1831 года, была фрейлиной. Его брат - Иван Петрович Балашов (1842—1924) - обер-егермейстер, был Вице-президентом Общества поощрения художеств. Жена Николая Петровича - Екатерина Андреевна урожденная графиня Шувалова (1848-1931). Её отец — граф Андрей Павлович Шувалов (1817-1876) - адъютант князя И. Ф. Паскевича-Эриванского, затем полковник. Мы о нем немного вспоминали, описывая имение его брата - Петра Павловича Шувалова, Тальное. Мать Екатерины Андреевны - Софья Михайловна урожденная княгиня Воронцова (1825—1879) была фрейлиной Двора и дочерью нашего знаменитого Новороссийского Генерал-Губернатора Михаила Семеновича Светлейшего князя Воронцова. Детей у Николая Балашова было пятеро: Пётр, Александр, Андрей, Софья, Александра.