Na dziedzińcu wykuto w skale głęboką studnię, a wzdłuż południowego muru rozpoczęto budowę domu mieszkalnego. Kilkakrotnie rozbudowywany zamek, traci z czasem znaczenie obronne i przejmuje funkcję siedziby wójta kazimierskiego, a następnie starosty. Elewacja budynku zyskuje kamienny detal i attykę, a sam obiekt nabiera charakteru rezydencji. Zrujnowany w trakcie potopu szwedzkiego (1655-57 r.) obiekt, odnawia dla swych potrzeb król August II. Około 1706 r. zamek staje się miejscem spotkania szwedzkiego króla – Karola XIV z carem Piotrem Wielkim. W trakcie wojen północnych obiekt zostaje bardzo zniszczony.

 

 

Podejmowane próby naprawy nie przywracają mu jednak dawnej świetności. Ostateczne zniszczenie obiektu następuje w 1809 r. Austriacy wysadzają wieżę zachodnią oraz zasypują studnię. Zamek traci walory użytkowe. Mimo znacznych prac remontowych wykonanych na zamku w latach 70-tych XX w., stan murów zagrażał awarią budowlaną, stąd decyzja o rewaloryzacji Zespołu Zamkowego w 2009 r. Prace rozpoczęto w 2009 r. od zabezpieczenia i wzmocnienia zachowanych murów. W miejscu zagrożonym osunięciem skarpy, od strony zachodniej, wykonano fundamenty o ponad 3 metrowej głębokości. Następnie, przy udziale archeologów, odsłonięto nieznane wcześniej piwnice, w części dwupoziomowe. Pod fundamentami zabytkowych murów znaleziono tajemnicze tunele, a w dolnych pomieszczeniach, archeolodzy natrafili na płyty dawnych posadzek, detale kamiennych portali oraz fragmenty attyki znanej dotąd wyłącznie z rycin. Na dziedzińcu zaś odkryto ruiny dawnej łaźni. Badania architektoniczne w czasie trwającego remontu, zdają się potwierdzać, że królewski architekt włoskiego pochodzenia Santi Gucci, zatrudniony przy przebudowie zamku w Janowcu, brał prawdopodobnie udział również w pracach na zamku kazimierskim, którego ówczesnym właścicielem był Mikołaj Firlej. Nota bene, Gucci pojął za żonę kazimierzankę – Katarzynę z Górskich.

 

 

Za czasów Mikołaja Firleja, na zamku w Kazimierzu wybudowana została czterokondygnacyjna wieża na planie 9 na 10 m, czyli zbliżona do wieży janowieckiej. Jednym z ważniejszych odkryć jest fakt, że czerwona Wieża Zachodnia, na której znajduje się obecnie taras widokowy, również powstała w czasach, kiedy właścicielem kazimierskiego zamku był Mikołaj Firlej.

Według legendy zamek kazimierski i zamek w Bochotnicy łączy podziemny tunel, którym niejednokrotnie król Kazimierz Wielki wędrować miał do Żydówki Esterki. Bardziej niezwykła legenda głosi, że podobny tunel ale pod Wisła, wiódł do janowickiego zamku.