Die ehemalige Burggrafenburg wurde im 12. Jahrhundert durch die Kaiserburg erweitert. Die heutige Gestalt der Burg auf dem Sandsteinfelsen stammt aus dem 15. und 16. Jh.. Vom äußeren Burghof und vom Wehrturm aus hat man einen ausgezeichneten Blick auf die Altstadt. Unter den verschiedenen Gebäuden beeindruckt vor allem die Kaiserkapelle, eine romanische Doppelkapelle mit einer Galerie, von der aus der Kaiser auf sein versammeltes Gefolge herabblicken konnte.