В результате смертей и браков наследников литовского гетмана Петра Белого Монтигердовича, Олыка попала в собственность древнего литовского рода Радзивилов. Первый из них - Ян Радзивил (Бородатый) - передал Олыку в наследство сыну Николаю Радзивилу (Черном). Маршалек и литовский канцлер Николай Радзивил в 1547-м получает от испанского короля, который по совместительству считался императором Священной Римской империи Карла V титул князя на Олыке и Несвиже.
Радзивилы были чрезвычайно богатым родом. Они владели огромными поместьями, многочисленными городами и замками, самые достойные из рода занимали высокие должности в Польше и Литве. Представление о доходах может сложиться по описанию княжеской охоты. Скажем, Кароль Станислав Радзивил ходил на охоту зверя в сопровождении двух тысяч пехотинцев, не одной сотни шляхтичей (они брали почти 200 гончих), обоза с охотничьими припасами, едой и выпивкой.
В 1564-м Олыка получила магдебургское право. Примерно в те же годы завершилось строительство замковой резиденции Радзивилов. Общая площадь замка - более двух гектаров! Состояние Радзивилов разрешило им возвести сооружение, что славилась на всю Европу своим величием. Лишь комнат здесь было 365. Говорят, что хозяин предпочитал спать каждую ночь в других покоях. Наибольшую заинтересованность вызывают жилые помещения для ордината. Залы пышно декорированы картинами в золоченых рамах и стеновым рисованием. В Большом зале, согласно описанию Шимона Старовольского, размещалась галерея портретов Радзивилов, - пишет историк Людмила Коротаева.
Резиденция Радзивилов в Олыке представляла собой замок бастионного типа. Он был почти квадратный в плане (100 х 125 м) и окруженным с трех сторон рвами. На всех четырех углах построены бастионы с казематами. В ХVIII веке замок потерял свое военное значение и выполнял сугубо хозяйственно-резидентские функции. Вокруг замка был разбит прекрасный парк и надстроен третий этаж на юго-восточном корпусе (этот корпус считается главным дворцом замка).
В 1803 г. и 1823 г. Олыку опустошили большие пожары, во время войны 1812 года дворец превратили в военный госпиталь - и использовали вплоть до 1837 г. В 1840 году замок уже необитаемый. В 1870 г. сгорела ратуша с бесценным городским архивом. В 1883 году начались реставрационные работы, продолжавшиеся почти 30 лет. Во время I мировой войны замок поврежден, но по ее окончании вновь начинается его реставрация. Сейчас во дворце психиатрическая больница.
Радзивилы оставались владельцами замка вплоть до 1939-го года. Несколько раз, во второй половине XIX в. и за польского господства перед Второй мировой замок реконструировали. Последнего владельца замка, сенатора и известного польского политика-консерватора Януша Радзивила сразу после вступления в Олыку Красной армии был арестован. Князя доставили в Москву, на Лубянку, где его якобы допрашивал сам Лаврентий Берия.
После вмешательства итальянской королевской семьи Радзивила освободили и он вернулся в Варшаву. Януш не оставался в стороне от трагических событий того времени и даже добился аудиенции у Германа Геринга, чтобы как-то смягчить репрессии в Польше. Вместо этого князя арестовали сперва гестапо, а потом снова НКВД. После освобождения бывший владелец неслыханных богатств проживал в Варшаве, в скромной квартирке вплоть до своей смерти в 1967-м году.
