При Н.И.Гагельстроме (городской глава Динабурга с 1865 года) был заложен первый городской парк – парк Александра Невского, который сегодня носит имя А.Пумпура, а так же был разработан и утвержден план застройки Динабурга. Была создана комиссия по благоустройству города, стараниями которой впервые начали мостить улицы, ввели искусственное освещение.

В этом парке установлен камень в память вывезенных в Сибирь жителей Даугавпилса, невинных жертв красного террора сороковых годов.