Памятник был возведён перед восточным фасадом Троицкого собора Измайловского полка (1827 — 1835 гг., арх. В.П. Стасов), в котором хранились русские военные трофеи, в том числе взятые в войне 1877-1878 гг. Идея составить колонну из стволов трофейных орудий принадлежала инженер-капитану Г. М. Житкову. Д. И. Гримму, как архитектору военного ведомства, было поручено её художественное и техническое воплощение. Памятник, окружённый сквером, также спроектированный Д. И. Гриммом с использованием трофейных орудий в ограде и фонарях, был торжественно открыт 12 октября 1886 г. в годовщину взятия Горного Дубняка (одного из важнейших событий русско-турецкой войны 1877-1878 гг.). С тех пор в этот день ежегодно перед памятником, получившим название Колонна Славы, проходил торжественный молебен. Зимой 1929-1930 гг. монумент был демонтирован и отправлен на переплавку.