Рядом со сквером находится Детская школа искусств.
Сам сквер является частью большой центральной площади. Сейчас она носит имя Ленина. В дореволюционное время площадь называлась Покровской - она тянулась до самого Покровского храма. Неофициально её называли Базарной - вокруг площади находились различные лавки и магазины, сюда в ярмарочные дни приезжали торговцы из ближайших сёл. Некоторое количество домов дореволюционной постройки сохранилось в этой части города до сих пор. После революции часть домов снесли, на их месте образовался городской парк. Сама площадь была переименована в Коммунарную. А в 1970 году в честь столетия со дня рождения Ленина ей было присвоено имя вождя.
Один из самых заметных памятников архитектуры на площади Ленина - здание городской администрации. До революции на этом месте располагались три дома, принадлежавшие семьям Думлеров и Кобзарей. Построены они были в 1900 году. После революции дома были национализированы, в них разместили различные органы Советской власти. В 1936-37 годах дома объединили в одно здание, был надстроен третий этаж. Сейчас перед зданием разбит цветник и установлены несколько арт-объектов.