W sąsiedztwie świątyni istniał szpital, który jeszcze po II wojnie światowej pełnił funkcję domu starców.

Najprawdopodobniej w 1635 roku obiekty te zostały przebudowane, najpierw szpital, a następnie kościół, którego murowanie rozpoczęto w 1649 r. a zakończono w 1671 roku (na zachodniej ścianie szczytowej data 1670). Przebudowa tego obiektu trwała tak długo, ponieważ przerwał ją potop szwedzki. Kościół Św. Anny wzorowany jest na kościele farnym. Plan świątyni stanowi jedna nawa prostokątna oraz węższego od nawy, półkoliście zamkniętego prezbiterium z zakrystią, pod którą usytuowane jest sklepione podziemie. Jest to zabytek w stylu renesansu lubelskiego. Mury wykonane są z kamienia wapiennego oraz z cegły. Otwory okienne występują w każdym polu pomiędzy pilastrami ścian nawy oraz w co drugim polu ścian prezbiterium. Szczyty nawy mają dekorację renesansową przypominającą frontowy szczyt fary. Cztery pilastry szczytu zwieńczone są pinaklowymi sterczynami.

Elewacje boczne nawy oraz ściany prezbiterium również artykułowane są pilastrami: co cztery pilastry na każdej ścianie nawy i osiem na ścianach prezbiterium. Nad ścianą tęczy wznosi się, tak jak w farze, sygnaturka. Sklepienie nawy – beczkowe, z lunetami ozdobione jest siatką sztukatorską, podobnie jak w kościele farnym, ale bardziej prostą i skromniejszą. Sklepienie prezbiterium jest beczkowe, ze schodzącymi się lunetami, na szwach lunet widnieje dekoracja sztukatorska. Prezbiterium w środku jest zakończone prostą ścianą, usytuowaną prostopadle do osi podłużnej kościoła, za którą usytuowane są, na dwóch poziomach w pseudo absydzie (o kształcie półkolistym): skarbiec i zakrystia. Wewnętrzne, drewniane wyposażenie kościoła datowane jest na XVII wiek, ale późniejsze malowania zeszpeciły ich wygląd.

Kilkadziesiąt lat od momentu wymurowania świątynia popadła w ruinę, podjęto więc w latach 1782-1783 pierwszą, gruntowną odnowę, zaś ostatnie roboty budowlane i konserwatorskie miały miejsce w 2003 roku. Niemniej jednak przy każdym zabytku konieczny jest stały nadzór nad stanem technicznym całego kościoła, stąd zamysł o przeprowadzenie kolejnych działań w celu ratowania wyjątkowego dobra kultury.

Dawny Szpital – przytułek dla starców i kalek, wzniesiony około 1626 roku. Posiada niezwykle bogaty i ciekawy manierystyczny szczyt ozdobiony wolutowymi spływami i sterczynami. W 1783 r. odbudowano zawalony dach na szpitalu i pokryto go gontem. Kompleksowy remont budynku z przystosowaniem na potrzeby domu kultury i biblioteki miał miejsce w latach 1953-1957 pod kierunkiem arch. Karola Sicińskiego. Obecnie jest tu siedziba Kazimierskiego Ośrodka Kultury, Promocji i Turystyki.