An der Stelle des Wittelsbacher Schlosses stand die Burg von Kelheim, die 1050 erstmals im Besitz der Wittelsbacher erwähnt wird. Überlieferungen nach soll 1174 der spätere Herzog Ludwig, der Kelheimer hier geboren sein. Kelheim war der Mittelpunkt seiner Herrschaft. Nach seiner Ermordung verlegten die Wittelsbacher die Residenz nach Landshut. 1476 wurde das alte Schloss abgebrochen. Aus dessen Material wurden die beiden Rundtürme und der Herzogkasten erbaut. Im Inneren sind noch die mächtigen Quadersteine, Überreste des Burgfrieds, zu sehen.