Po powstaniu styczniowym klasztor został zlikwidowany przez władze carskie. Franciszkanie powrócili do Kazimierza Dolnego w wolnej Polsce, w 1928 roku. Podczas okupacji, w 1942 roku, franciszkanie zostali ponownie usunięci, a w Klasztorze hitlerowcy zorganizowali placówkę gestapo z więzieniem dla Żydów i Polaków. W 1956 r. w klasztorze powstało muzeum, którego eksponaty obejmują: rękopisy, stare druki, dawne rzeźby i obrazy oraz relikty regionalne z okolic Kazimierza. Kościół zachował wystrój pierwotny, z którego na uwagę zasługują przede wszystkim: ołtarz główny z 1770 r. według projektu arch. Tomasza Hoffmana z obrazem Zwiastowania NMP z 1600 r., czczonym od wieków jako słynący łaskami, epitafia rodziny Przybyłów, żelazne drzwi kute z datą 1589, pochodzące z pierwotnego kościoła.