Возникновение замка датируется 1352 годом, когда замландский епископ Якоб I на месте старого прусского городища основал замок и посвятил его часовню покровителю рыцарей – Святому Георгию. Так и появилось название Георгенбург. Епископский замок не раз подвергался нападениям и разорениям. В 1525 году замок перешел во владение Прусского герцогства. В последующие века он не раз менял хозяев, разрушался и восстанавливался. Во время Семилетней войны накануне битвы при Гросс-Егерсдорфе на его территории размещались русские войска, а во время Наполеоновских войск – корпус маршала Даву.
После неудачных войн Пруссия вынуждена была продать замок и в 1828 году его владельцами стали Симпсоны из Шотландии. Они основали здесь конный завод и так преуспели в этом деле, что были удостоены дворянского титула. В конце XIX века неудачливый наследник Симпсонов продал конезавод вместе с замком государству. В его перестроенных и благоустроенных зданиях поселились сотрудники конезавода.
Во время Второй мировой войны Георгенбург почти не пострадал. В разное время здесь размещался лагерь военнопленных, инфекционная больница, жилые помещения.
В 2010 году Замок Герогенбург передали Русской православной церкви. Сейчас в нем резиденция епископа Черняховского и Славского.
Замок – объект культурного наследия регионального значения.