Początki Kazimierza Dolnego sięgają wczesnego średniowiecza. Wietrzna Góra była osadą, którą wraz z okolicznymi wsiami Kazimierz Sprawiedliwy nadał siostrom norbertankom spod Krakowa w 1181 r. Wietrzna Góra leżała na atrakcyjnym szlaku kupieckim u przeprawy Wisły. Nazwa Kazimierz pojawia się w dokumentach z 1249 roku.
Kamienna Baszta, powstała na przełomie XIII i XIV w., wraz z nieistniejącym już drewnianym zamkiem i osadą położoną u jego stóp pokazuje, iż w średniowieczu zamieszkiwana byłą nie tylko Wieczna Góra, ale również Góra Zamkowa oraz teren pomiędzy nimi.
W XIII wieku Kazimierz otrzymał prawa miejskie, nadane przez Króla Kazimierza Wielkiego, powstał tu zamek. W XV wieku Władysław Jagiełło dokonał ponownej lokacji miasta na prawie magdeburskim, z własną jurysdykcją wójtowską.
Przełom XVI i XVII w. to dla Kazimierza czas bogacenia się i rozwoju. Miasteczko zostało rozbudowane, przy rynku i w jego okolicach powstały okazałe, bogato rzeźbione kamienice, przebudowany został kościół farny oraz powstały jedne z największych organów w Polsce. Jak grzyby po deszczu wyrosły magazyny zbożowe – spichlerze. Powstało ich ponad 50, z czego połowa murowanych, przybierających estetyczną formę architektoniczną. Wkrótce powstały kolejne dwa kościoły – na Plebaniej Górze i przy szpitalu. Architektoniczny styl panujący w miasteczku zostanie kiedyś nazwany renesansem lubelskim. To wszystko dzięki stabilizacji politycznej i gospodarczej Polski, kolejnym przywilejom królewskim oraz rosnącemu znaczeniu Wisły jako szlaku handlowego.
Wojny, pożary, powodzie i epidemie, a przede wszystkim odsunięcie Wisły od miasta spowodowały zmierzch prosperity miasteczka oraz utratę jego znaczenia jako portu zbożowego w XVII w.
W 1677 r. król Jan III Sobieski nadał Kazimierzowi przywilej zezwalający na budowanie domów, warzenie piwa oraz handel kupcom pochodzenia ormiańskiego, greckiego i żydowskiego. Ma to powstrzymać ubożenie Kazimierza. Kazimierz, inaczej niż wiele miast królewskich, nie posiadał przywileju zakazującego osiedlania się Żydom, a co za tym idzie, jedna trzecia podatku od tutejszych mieszczan opłacana była przez Żydów.
W 1795 r. w wyniku III rozbioru Polski Kazimierz znalazł się pod zaborem austriackim, a po okresie wojen napoleońskich od 1809 r. w granicach Księstwa Warszawskiego był siedzibą powiatu kaźmierskiego. Rolę tę pełnił także w czasach Królestwa Polskiego aż do roku 1837, kiedy to jego miejsce zajęły Puławy.
Kazimierz stał się również areną walk pomiędzy siłami polskimi i rosyjskimi podczas powstań narodowych. 18 marca 1831 r., w czasie powstania listopadowego w Kazimierzu zginął podpułkownik Juliusz Małachowski, co upamiętnia pomnik w Wąwozie nazwanym jego imieniem. Z kolei w pierwszych dniach powstania styczniowego przebywali tu studenci puławskiego Instytutu Politechnicznego i Rolniczo – Leśnego pod wodzą Leona Frankowskiego. Ich działania upamiętnia pomnik na terenie dawnego cmentarza za kościołem farnym.
Koniec XIX w. przyniósł Kazimierzowi utratę praw miejskich na ponad 50 lat. Osadą rolniczo – rzemieślniczo – handlową zaczęli się interesować artyści i letnicy. Powstały pierwsze wille i pensjonaty, w tym Hotel Berensa.
Pierwsza wojna światowa bardzo doświadczyła miasteczko. W 1915 roku Kazimierz został poddany ostrzałowi armatniemu. Wycofujące się wojska carskie podpaliły miasto, które trafiło pod okupację austriacką. Zniszczenia wojenne dokumentowali członkowie Koła Lokalnego Towarzystwa Opieki nad Zabytkami Przeszłości w Kazimierzu, z inicjatywy którego ówczesne władze zakazały odbudowy spalonych zabytków do czasu opracowania odpowiednich projektów. Takie powstały w Kazimierzu dopiero w wolnej Polsce. Ich realizacja odbywała się pod okiem mieszkających w Kazimierzu architektów – konserwatorów: Jana Koszczyca Witkiewicza, Jerzego Siennickiego i Karola Sicińskiego.
Kazimierz stał się kolonią artystyczną. Profesor Tadeusz Pruszkowski organizował tu letnie plenery malarskie dla studentów Szkoły Sztuk Pięknych. Bractwo świętego Łukasza i Towarzystwo przyjaciół Kazimierza zrzeszające mieszkańców i miłośników Miasteczka zaangażowali się w ratowanie kazimierskich zabytków.
8 września 1939 r. niemieckie samoloty przez godzinę bombardowały miasto. Następnego dnia mieszkańcy pomogli w ratowaniu skarbów wawelskich. 19 września miasto zajęli Niemcy. Na początku 1940 roku w centrum Kazimierza Niemcy zbudowali getto. Żydzi, stanowiący wtedy około połowy ludności zostali w nim aż do końca marca 1942 roku.
18 listopada 1942 roku miasto przeżyło krwawą środę. Kazimierz i okolice zostały spacyfikowane przez Niemców. Wiele osób przetransportowano do obozów zagłady, około 150 osób zostało zamordowanych.
Po wojnie podjęto próby odbudowy Kazimierza, nad którymi czuwał sam Karol Siciński. Serce miasteczka zbudowane według jego koncepcji uznane zostało za pomnik historii w 1994 roku.
Powojenny Kazimierz był bardzo popularnym miejscem wśród letników. W 1963 r. utworzono tu Muzeum Nadwiślańskie. Muzeum, rozproszone w kilku budynkach prezentowało zbiory malarstwa, faunę i florę naszego regionu, historię Kazimierza i okolic, był także oddział literacki, orbitujący wokół życia i twórczości Marii i Jerzego Kuncewiczów.