С замка Инстербург начинается наш город, который до 1946 году назывался Инстербургом.
Замок был основан магистром Тевтонского ордена Дитрихом фон Альтенбургом как форпост для борьбы с Литвой в 1336 году. Сначала это был блокгауз из дубовых брёвен с валом, частоколом и рвом. Со временем деревянные постройки заменили каменными. Замковый комплекс совмещал функции крепости и монастыря. В нём были и высокие дозорные башни, и мощные наружные стены и просторный внутренний двор с арочным входом. Литовцы осаждали его 9 раз.
В XVI веке замок утратил своё военно-оборонительное значение и стал центром административного управления округа Инстербург. Его посещали короли, квартировали войска, в находившемся здесь суде служил отец писателя Э.Т.А. Гофмана, а в 1930-е годы работал музей. В 1945 году, во время штурма города, замок горел. После войны в нём располагалась военная часть, РСУ. С 1997 года энтузиасты, основавшие Фонд «Дом-Замок» проводят в его стенах экскурсии, фестивали, конференции.
Замок – объект культуры федерального значения.