Ďalšie osudy chrámu boli poznačené úsilím zlepšiť obranu mesta. Obnovovaný chrám obohnali hradbou s obrannými polkruhovými vežami. Koncom 15. storočia opevnenie doplnila obytná veža Himmelreich, kde okrem obydlia hradného kaptána bolo aj väzenie, a vežová hradná brána. Mnohé zachované detaily svedčia o tom, že obnova chrámu v duchu neskorej gotiky bola naozaj veľkorysá. Napriek tomu boli jeho dni zrátané: narastajúca turecká hrozba (a možno aj problémy s financovaním náročnej prestavby) podnietili vedenie mesta v polovici 16. storočia, aby sa kostol celkom zmenil na pevnosť. Zo strednej chrámovej lode vzniklo nádvorie, bočné lode prestavali na obytné krídla a získaným materiálom posilnili obvodové múry. Ústredná budova mala v spodnej časti skladovacie priestory, nad nimi obytné a reprezentačné miestnosti a na poslednom podlaží boli ochodze pre delá nasmerované na prístupové cesty k hradu. V tejto podobe renesančnej pevnosti, s výnimkou prestavby vstupnej brány na barokovú zvonicu v 18. storočí, sa hrad zachoval dodnes. Je sídlom historickej expozície Slovenského banského múzea.