В 1339 году Великий магистр Тевтонского ордена Дитрих фон Альтенбург освободил город от налогов и даровал Велау Кульмское городское право. В это же время началось строительство каменного замка.
В 1347 году Велау вновь подвергся нападению литовцев. Князь Ольгерд взял крепость, сжег дома, разрушил деревянную церковь и строящийся замок. В 1349-1351 годах на фундаменте разрушенного замка был построен францисканский монастырь, в 1360-1380 годах - новая каменная церковь Святого Якоба и городская ратуша. В 1379-1381 годы по указанию великого магистра Винриха фон Книпроде вокруг города Велау была построена высокая крепостная каменная стена с четырьмя круглыми каменными башнями.
С XIX в. Велау стал известен как город, в котором ежегодно в начале июля проводилась самая большая в Европе международная ярмарка со специализацией по крупному рогатому скоту и лошадям. В среднем продавалось около 9 тыс. лошадей и 3 тыс. голов крупного рогатого скота. Кроме того, в Велау еженедельно, по средам и субботам, работал рынок. В 1860 г. Велау присоединился к Восточной железнодорожной линии, а с 1 июня 1911 г. начала функционировать малая железнодорожная ветка Велау—Фридланд. По данным на 1867 г., в городе проживало 5288 человек, а к 1880 г. количество жителей увеличилось до 5442 человек.
По мере благоустройства поселка росло его население. В 1979 г. количество жителей Знаменска составило 4,7 тыс. человек (численность населения долгое время будет сохраняться примерно на этом уровне).
В 1980-е гг. Знаменск развивался как преуспевающий советский поселок. В нем размещались следующие производства: Знаменская бумажная фабрика (предприятие союзного значения), маргариновый и мукомольный заводы, автохозяйство, лесосклад, железнодорожная станция, стройучасток РСУ-15, совхоз "Знаменский" треста "Скотопром", — все они успешно выполняли планы текущих пятилеток. Не отставала сфера соцкультбыта: к услугам населения были больница со стационаром на 60 мест, три здравпункта (на предприятиях), детские ясли, комбинат коммунальных предприятий и благоустройства поселка, Дом быта, средняя, вечерняя, музыкальная школы, три библиотеки (взрослая, детская, школьная), два клуба, кинотеатр, зубопротезный кабинет, аптечный пункт и т. д. Появились новые магазины, торговавшие одеждой, обувью, "культтоварами".