Allerede navnet Wittenburg tyder på, at der engang må have ligget en borg her. Denne blev ødelagt i 1150 af Henrik Løven og erstattet af en ny borg, på hvis fundament Amtsturm blev opført i 1848.
Det senmiddelalderlige porttårn fra det tidligere massive slotskompleks er, bortset fra nogle få rester, der stadig kan ses i dag, den eneste del af det historiske anlæg, der er bevaret. Det indgår i det neoklassicistiske administrationsbygning, der blev opført i 1848, og som gav bjerget sit nuværende navn. Tårnruinen blev renoveret i 1998. Her og i lokalhistorisk udstillingslokale, der ligger lige ved siden af tårnet, kan besøgende få indblik i byens historie. På det glasoverdækkede udsigtsdæk afholdes der desuden regelmæssigt skiftende udstillinger. Også den omgivende park er et besøg værd.

















