Anfang des 14. Jahrhunderts musste die baufällige Pfarrkirche saniert werden. Erneut war dies 1471 der Fall und drei Jahre später war die Kirche sogar einsturzgefährdet, so dass der Rat der Stadt auf einen Neubau drängte.

Nachdem der Friedhof bei Sankt Kassian an die Südseite der Alten Kapelle verlegt worden war, konnte man bis 1477 die Pfarrkirche nach Westen verlängern. Das Wappen mit der Jahreszahl 1477 an der Westfasade dokumentiert den damaligen Bauherrn, Stiftsdekan und seit 1468 Pfarrvikar Jahannes Hayden, sowie den Abschluss der Umbauarbeiten.

Unmittelbar nach der Überführung des Gnadenbildes der "Schönen Maria" in die Pfarrkirche Sankt Kassian im Jahre 1747 setzte ein Strom von Wallfahrern ein, der Spendengelder so reichlich fließen ließ, dass bereits nach zwei Jahren mit der Umgestaltung der Kirche im Stil des Rokoko begonnen werden konnte.

1863/1864 wurden die Gemälde mit Ölfarbe übermalt, 1895 teilrestauriert sowie aufgefrischt und 1908/1909 wieder von diesen Übermalungen befreit und retuschiert.

Seit Jahrhunderten hat das Gotteshaus mit aufsteigender Feuchtigkeit zu kämpfen. Der Fußboden liegt weit unter dem Niveau der Straße. Beständig wanderten im Laufe der Zeit Nässe und Salze durch die Bausubstanz, so dass nicht nur der Putz riss und bröckelte, sondern mit ihm auch der Stuck und die wertvollen Malereien, die sich in großen Flächen von ihrem Bildträger ablösen.

Seit 2007 wurden Fundamente, Außenhüllen und innere Raumschale instand gesetzt. Die Feuchtigkeit wurde reguliert, so dass auch die Stuckdekoration von 1754 sowie die Rokokomalereien an Wänden und Decken restauriert werden konnten. Die Restaurierung wurde 2015 vollendet. Am Kirchweihfest am 18.10.2015 wurde die Kirche mit einem Pontifikalgottesdienst wieder geöffnet, bei dem Bischof Dr. Rudolf Voderholzer den neuen Altar konsekrierte.