- Hoch auf dem Bergrücken beginnt Bischof Berthold aus dem Hause der Zollern um 1355 mit dem Bau der Willibaldsburg. Von Anfang an war sie kein reiner Festungsbau, sondern auch fürstlicher Wohnsitz.
- Bedeutende Bischöfe vergrösserten die Anlage im Laufe der Jahrhunderte.
- Prächtigster Teil ist der Renaissance-Trakt, ab 1609 nach Plänen von Elias Holl erbaut. Initiator und Bauherr dieser Anlage war wie beim Hortus Eystettensis der prachtliebende Fürstbischof Johann Konrad von Gemmingen.
- Im Dreißigjährigen Krieg wurde die Willibaldsburg von den "Schweden" erobert, aber nicht zerstört. Der Niedergang der Burg begann mit der Säkularisation. 1806 wurde die Burg an Privatleute verkauft. Heute wird die Anlage von der Bayerischen Schlösser- und Seenverwaltung betreut.
- Der Stich von Matthäus Merian aus dem Jahre 1648 verdeutlicht die gewaltigen Ausmaße der Willibaldsburg vor dem Niedergang.