Fürstbischof Franz Ludwig Schenk von Castell lässt 1735 nur 200 Meter vom Osttor der Stadt ein "Sommer-Haus mit Garten und Zubehör" (Bauinschrift über dem Portal an der Ostenstraße) anlegen. Der Stil weist auf den Hofbaumeister Gabriel de Gabrieli hin. Unter den drei folgenden Fürstbischöfen werden Gebäude und Garten weiter ausgestaltet. Künstlerischer Höhepunkt sind der Festsaal mit dem Deckenbild "Der Frühling" von Johann Evangelist Holzer (1709 - 1740) und die Gestaltung des Mittelpavillons im Hofgarten durch Maurizio Pedetti (um 1780). 1817 -1855 sind Sommerresidenz und Hofgarten im Besitz der Herzöge von Leuchtenberg.
Herzog Eugen (1817 - 1824) lässt den bisher französischen in einen englischen Garten umwandeln und im Schloss ein Naturalienkabinett einrichten. Der Garten gehört seit 1871 der Stadt Eichstätt. Das Schloss dient 1872 - 1898 als Kaserne für die Abteilung eines Jägerregiments. Bischof Franz Leopold Freiherr von Leonrod kauft es 1899 für das Bischöfliche Seminar. 1901 - 1965 beherbergt das Gebäude die Staats- und Seminarbibliothek. 1974 wird es nach einer gelungenen Restaurierung der heutigen Nutzung als zentrales Verwaltungsgebäude der Katholischen Universität zugeführt.
