Redan namnet Wittenburg tyder på att det en gång i tiden måste ha funnits en borg här. Den förstördes år 1150 av Henrik Lejonet och ersattes av en ny borg, på vars grundvalar Amtstornet uppfördes år 1848.
Porttornet från senmedeltiden, som tillhörde den tidigare mäktiga borganläggningen, är – bortsett från några rester som fortfarande syns idag – den enda delen av den historiska anläggningen som har bevarats. Tornet ingår i den neoklassicistiska myndighetsbyggnaden som uppfördes 1848 och som gav berget dess nuvarande namn. Tornruinen renoverades 1998. Här och i lokalhistoriska museet, som ligger alldeles intill tornet, kan besökare ta del av stadens historia. På den inglasade utsiktsvåningen hålls dessutom regelbundet växlande utställningar. Även den omgivande parken är värd ett besök.
