В результаті смертей і шлюбів спадкоємців литовського гетьмана Петра Білого Монтигердовича, Олика потрапила у власність давнього литовського роду Радзивілів. Перший з них – Ян Радзивіл (Бородатий) – передав Олику у спадок синові Миколаю Радзивілу (Чорному). Маршалек і литовський канцлер Миколай Радзивіл у 1547-му отримує від іспанського короля, котрий за сумісництвом вважався імператором Священної Римської імперії Карла V титул князя на Олиці та Несвіжу. Радзивіл мав намір започаткувати своє спадкове князівство. Радзивіли були надзвичайно заможним родом. Вони володіли величезними маєтками, численними містами й замками, достойники роду обіймали високі посади у Польщі та Литві. Уява про статки може скластися за описом княжого полювання. Скажімо, Кароль Станіслав ІІ Радзівіл ходив на лови звіра у супроводі двох тисяч піхотинців, не однієї сотні шляхтичів (вони брали майже 200 гончих), обозу з мисливськими припасами, їжею та випивкою.
У 1564-му Олика отримала магдебурзьке право. Приблизно в ті ж роки завершилось будівництво замкової резиденції Радзивілів. Загальна площа замку – понад два гектари! Статки Радзивілів дозволили їм звести споруду, що славилась на цілу Європу своєю величчю. Лише світлиць тут було 365. Кажуть, що господар волів спати щоночі у інших покоях. Найбільшу зацікавленість викликають житлові приміщення для ординатів. Зали пишно декоровані картинами у позолочених рамах і стінними малюваннями. У Великій залі, згідно з описом Шимона Старовольського, розміщувалася галерея портретів Радзівілів, – пише історик Людмила Коротаєва.
Резиденція Радзівілів в Олиці являла собою замок бастіонного типу. Він був майже квадратний в плані (100 х125 м) і оточеним з трьох боків ровами. На всіх чотирьох кутах збудовані бастіони з казематами. В ХVIII столітті замок втратив своє військове значення й виконував суто господарсько-резидентські функції. Навколо замку був розбитий чудовий парк і надбудований третій поверх на південно-східному корпусі (цей корпус вважається головним палацом замку).
В 1803 та 1823 рр. Олику спустошили великі пожежі, під час війни 1812 року палац перетворили на військовий шпиталь — і використовували аж до 1837 р. В 1840 році замок вже незаселений. У 1870 р. згоріла ратуша з безцінним міським архівом. У 1883 році розпочались реставраційні роботи, що тривали майже 30 років. Під час І світової війни замок ушкоджений, але по її закінченню знову починається його реставрація. Зараз у палаці психіатрична лікарня.
Радзивіли залишалися власниками замку аж до 1939-го року. Кілька разів, в другій половині XIX ст. і за польського панування перед Другою світовою замок реконструювали. Останнього власника замку, сенатора і відомого польського політика-консерватора Януша Радзивіла одразу після вступу до Олики Червоної армії було заарештовано. Князя доправили до Москви, на Луб'янку, де його ніби допитував сам Лаврентій Берія.
Після втручання італійської королівської родини Радзивіла звільнили і той повернувся до Варшави. Януш не залишався осторонь від трагічних подій того часу і навіть домігся аудієнції в Германа Геринга, аби якось пом’якшити репресії в Польщі. Натомість князя заарештували спершу гестапо, а згодом знову НКВС. Після звільнення колишній власник нечуваних багатств проживав у Варшаві, у скромній квартирці аж до своєї смерті у 1967-му році.
