Памятник установлен в 1849 году у Спасской церкви на углу улиц Спасской и Парижской Коммуны.
Построен на месте дома казака Магденко, у которого жил комендант крепости Алексей Келин. На второй день после Полтавской битвы в нем останавливался Петр I. В 1817 году здесь был построен кирпичный обелиск по проекту архитектора П.Тарасова, а в 1849 году установлен новый, изготовленный в Петербурге по проекту архитектора О.П.Брюлова художником И.Гамбургером. Памятник представляет собой прямоугольный трехъярусный чугунный обелиск на гранитном стилобате (общая высота составляет 7,2 метров). Сверху положен щит и меч, на щите - шлем. На плоскостях располагаются горельефное изображение герба Российской империи; льва, который отдыхает; мемориальные надписи.