1922 kauften die Salvatorianer das Wurzacher Schloss und errichteten darin eine Lateinschule mit Jungeninternat. Die neue Schule wuchs sehr schnell, aber die Nationalsozialisten hatte eine andere Vorstellung davon, was Jugendliche lernen sollte. Nachdem das Salvatorkolleg in Wurzach ab 1937 keine Schüler mehr aufnehmen durfte und bald darauf seinen Schulbetrieb einstellen musste, stand das große Gebäude praktisch leer. Im September 1940 mietete die Heeresstandortverwaltung Biberach das Schloss für die Verwendung als Gefangenenlager an. Von 1940 bis 1942 wurde das Schloss als Oflag VC (Oflag = Gefangenenlager für Offiziere) als Gefangenenlager für französische Kriegsgefangene benützt. Die Höchstbelegung erreichte das Lager bereits im März 1941 mit 804 französischen Kriegsgefangenen und 210 Mann der Wachmannschaften. Im November 1942 kündigte die Heeresstandortverwaltung den Vertrag über die Anmietung des Schlosses, allerdings wurde zu diesem Zeitpunkt das Schloss bereits für einen anderen Zweck verwendet. Schon seit dem 30. Oktober 1942 befand sich dort eine große Gruppe von zivilen Gefangenen - über 600 Männer, Frauen und Kinder von der britischen Kanalinsel Jersey.