Po polovici 16. storočia sa korlátske feudum ( Trstín, Prievaly, Jablonica, Hlboké, Osuské, Lieskové a Kropo ) po častiach dostalo do rúk viacerých rodov a tak začalo upadať. V tej dobe sa panstvo začínalo sťahovať z hradov do kaštieľov, a tak v roku 1740 slúžil už len ako väzenie.