Der Bau der Burganlage, die sich stolz über der Altstadt erhebt, wurde von dem Erzbischof Gebhard im Jahr 1077 in Angriff genommen. Allerdings sind von dem einst so prachtvollen Palais nur noch einige Mauerreste erhalten. Der imposante, 30 m hohe romanische Bergfried beherbergt heute das Stadtmuseum. Die Kapelle hat ihre romanischen Fresken bewahrt. Im oberen Burghof finden alljährlich im Sommer Freilichtspiele statt.