Пам'ятник встановлено у 1849 році біля Спаської церкви на розі вулиць Спаської і Паризької Комуни.
Споруджено на місці будинку козака Магденка, в якого жив комендант фортеці Олексій Келін. На другий день після Полтавської битви у ньому зупинявся Петро І. У 1817 році тут було споруджено цегляний обеліск за проектом архітектора П.Тарасова, а у 1849 році встановлено новий, виготовлений у Петербурзі за проектом архітектора О.П.Брюлова художником І.Гамбургером. Пам'ятник являє собою прямокутний триярусний чавунний обеліск на гранітному стилобаті (загальна висота становить 7,2 метрів). Зверху покладено щит і меч, на щиті — шолом. На площинах вміщено горельєфне зображення герба Російської імперії; лева, який відпочиває; меморіальні написи.