Durch den östlichen Torbogen erreicht man den Schlossgarten und die Ulrichskapelle. Der Garten entwickelte sich aus der ehemaligen Vorburg der staufischen Dynastenburg der Grafen von Dillingen und Kyburg. Ursprünglich trennte ein breiter und tiefer Graben Burg und Vorburg. In diesen Graben wurde - wohl im 16. Jahrhundert - ein zweischiffiger unterirdischer Gang eingebaut (nicht zugänglich) und der Graben darüber aufgefüllt.
An der östlichen Spitze des Gartens steht eine äußerst reizvolle Baugruppe, die aus drei Gebäuden besteht: Gärtnerhaus (aus der Zeit des Dreißigjährigen Krieges), Salettl und Ulrichskapelle. Das Eck des Geländesporns nimmt der Rundbau des Salettls ein, das im Obergeschoss einen schönen, mit feinem Stuck gezierten Raum mit dem Wappen des letzten Fürstbischofs Klemens Wenzeslaus aufweist.
Die Kapelle zu Ehren des Diözesanpatrons, überragt von einem achteckigen Dachreiter mit Zwiebelhaube, besteht nachweislich seit dem 14. Jahrhundert. Sie erhielt ihr jetziges Aussehen ebenfalls im Frührokoko. Da dieursprünglichen Gemälde wohl in der Säkularisation verschwunden sind, wurden in Deckenspiegel und Rahmen des Altarbildes anlässlich der Renovierung der Kapelle zum Ulrichsjahr 1955 neue Gemälde von Mathias Kronwitter (Günzburg) eingefügt.
Der Schlossgarten hat heute eher den Charakter eines Englischen Gartens, in dem ein Denkmal mit seinem Bronzeengel (1894) für die in den Kriegen des 19. Jahrhunderts gefallenen Dillinger Bürger aufgestellt wurde (früherer Standort: Taxispark).