Już sama nazwa Wittenburg wskazuje, że kiedyś musiał tu istnieć zamek. Został on zniszczony przez Henryka Lwa w 1150 roku i zastąpiony nowym kompleksem zamkowym, na fundamentach którego w 1848 roku wzniesiono oficjalną wieżę.
Późnośredniowieczna wieża bramna niegdyś potężnego kompleksu zamkowego jest jedyną częścią historycznego kompleksu, która została zachowana, poza kilkoma pozostałościami, które są widoczne do dziś. Jest to część neoklasycystycznego budynku urzędowego wzniesionego w 1848 roku, od którego wzgórze wzięło swoją obecną nazwę. Ruiny wieży zostały odrestaurowane w 1998 roku. Zwiedzający mogą zapoznać się z historią miasta tutaj oraz w salonie historii lokalnej tuż obok wieży. Na przeszklonym poziomie widokowym odbywają się również regularnie zmieniające się wystawy. Warto również odwiedzić otaczający wieżę park.