Neskôr hrad často striedal majiteľov, cez lúpežného hajtmana Jána Moravanského, grófa Ujakyho až k šlachtickým rodom Aponiovcom a Pongrácovcom. Chvíľu patril aj Stiborovi zo Stiboríc.