Um 1640 wurde dieses Stadttor, das wir von einer Zeichnung des Stadtschreibers Wolfgang Klopfinger von 1543 kennen, baufällig. Die Hofbaumeister z. B. von Landshut und München, die man um ein Gutachten gebeten hatte, empfahlen einen Neubau. Diesen plante und errichtete von 1643 bis 1647 der aus Graubünden stammende und in München ansässige Baumeister Bartholomä Viscardi. Architekt Viscardi konzipierte mit der „Rübe“ eine welsche Dachdeckung, wie sie erstmals in Bayern die Türme der Münchner Frauenkirche erhalten hatten. Unverkennbar auch Viscardis eigenwillige Zierelemente, wie die Eckpilaster und die gesprengten Giebel.
Als er 1647 den Stadtvätern das vollendete Bauwerk übergab, standen die an der stadtseitigen Front eingefügten Nischen noch leer. Es ist anzunehmen, dass die Aufstellung von Heiligenfiguren dem Geldmangel zum Opfer gefallen war. Es herrschte ja schließlich der 30jährige Krieg. Als am 24. Juni 1670 der Blitz in den Stadtturm einschlug und einen Türmergesellen, der im obersten Stockwerk zur Feuerbeobachtung eingeteilt war, tötete, griff man umgehend die Ausschmückung der Nischen auf. Die Magistratherren sahen nämlich den Blitzschlag als „Fingerzeig des Himmels“ und bestellten bei Bildhauer Andreas Gezzinger in Hallein/Salzburg drei Statuen aus weißem „Märmelstein“ (Marmor). Gezzinger lieferte 1677 für 304 Gulden die Figuren des hl. Florian, Patron gegen Feuersgefahr, der Muttergottes, der Schutzfrau Bayerns, und des hl. Johannes der Täufer, des Kirchen- und Stadtpatrons.
Im Stadtturm residierte der Türmermeister mit seinen Gesellen. Seine Hauptaufgabe war die Feuerbeobachtung und das An- und Abblasen der Schiffe. Die Schiffsleute mussten nämlich in Vilshofen an Land gehen und im Mauthaus (heute Hotel „Wittelsbacher Zollhaus“) für ihre Waren Maut bezahlen. Vilshofen war ja bis 1803 bayerische Grenzstadt zum Hochstift Passau, wozu schon der nächste Ort an der Donau, Windorf, gehört hat.
2001 erfolgte eine grundlegende Sanierung des Stadtturms. Mit Ausnahme der 235 Jahre alten, morschen Holztreppe, die vom ersten bis zum vierten Stock durch eine feuersichere Stahltreppe ersetzt werden musste, konnte man die historischen Böden, Mauern und Stuckaturen der Frühbarockzeit ausbessern und erhalten. Seit 2001 befindet sich in den exklusiv renovierten Räumen des über 350 Jahre alten Stadtturms die STADTTURMGALERIE.
