Kazimierz Dolny swoimi początkami sięga XII w., gdzie już we wczesnym średniowieczu istniała osada zwana Wietrzną Górą. Wraz z okolicznymi wsiami w końcu XII w. (przyjmuje się datę 1181r.) książę Kazimierz Sprawiedliwy nadał ją siostrom norbertankom z krakowskiego Zwierzyńca. Oprócz Wietrznej Góry klasztor otrzymał także Karczmiska (ówczesna nazwa Krępa), Rzeczycę, Jaworzec, Wojszyn, Skowieszyn (ob. Skowieszynek). Przypuszcza się, że to właśnie siostry norbertanki zmieniły nazwę osady na "Kazimierz" na cześć swego darczyńcy. Najstarszy dokument, w którym pojawiła się ta nazwa pochodzi z roku 1249. Mówi on o “pannach z Kazimierza”. Zakonnice jeszcze w XIII w. - wskutek najazdów Tatarów, Jadźwingów – musiały stąd uciekać, albo po prostu usunął je stąd Władysław Łokietek, przekazując osadę synowi Kazimierzowi Wielkiemu. Pierwotna zabudowa miejscowości powstała prawdopodobnie w miejscu, na którym stoi obecnie klasztor reformatów, choć istnieją rozbieżności wśród badaczy, co do faktycznej lokalizacji początków osadnictwa z XII w. Istnienie tu w XIII w. przeprawy wiślanej na trakcie radomskim (przez Wojszyn) wraz z komorą celną - na skrzyżowaniu szlaku wiślanego z handlowym szlakiem lądowym od Rusi ku Zachodowi (Pomorzu) - spowodowało powstanie osady targowej z placem targowym. W pierwszej poł. XIV w. erygowano tu parafię (mówi o tym dokument z 1325 r.) – najpierw z drewnianym, później z murowanym kościołem.
Kamienna wieża strażnicza (baszta), powstała za Władysława Łokietka (XIII w.), zaś murowany zamek wzniósł tu Kazimierz Wielki jako siedzibę wójta (dokumenty potwierdzają, że zamek istniał tu już na pewno w 1340 r.) - przekształcając osadę grodową w miasto królewskie, lokowane na prawie polskim. Rdzeń dawnej osady przesunął się z południa na północny brzeg Grodarza, na oś traktu lubelskiego. Na pocz. XIV w. powiększono obszar miejscowości i sam rynek. Nowy rynek ujmowały trzy pierzeje domów, zapewne drewnianych, parterowych, zastąpionych po części po pożarach w latach 1561 i 1585 murowanymi, jednopiętrowymi kamienicami. Ludność zajmowała się wtedy głównie rolnictwem, piwowarstwem, szkutą, przeprawianiem przez Wisłę. Poważny rozwój zawdzięcza Kazimierz przede wszystkim wzrostowi znaczenia handlu drogą wodną. Miasto już w XV w. było śródlądowym portem przeładunkowym handlu zbożem, a dalsze przywileje królewskie służyły szybkiemu wzrostowi jego zamożności. W XVI w. wskutek długu króla Zygmunta Starego wobec Firlejów miasto na pewien czas przeszło w ręce starosty niegrodowego Firleja. W szczytowym okresie swojego rozwoju, przypadającym na XVI w. do końca 1 poł. XVII w., Kazimierz był jednym z najważniejszych w Rzeczypospolitej ośrodków handlu zbożem, posiadającym rozbudowany port rzeczny (lub nabrzeże o charakterze portowym), położony na Przedmieściu Gdańskim i dwa wielkie zespoły spichlerzy zlokalizowane na Przedmieściu Gdańskim i Krakowskim (w okresie rozkwitu miasta funkcjonowało ich tu około sześćdziesięciu - niejednokrotnie bogato zdobionych, szczególnie w partiach szczytowych; najpiękniejszym był spichlerz „Pod Bożą Męką”). W porcie handlowano zbożem, mąką, drewnem, skórami, solą, potażem, popiołem (węgiel drzewny), bydłem. Towary wywożone z portu kazimierskiego w 1 poł. XVII w, stanowiły 43 % eksportu całej Rzeczypospolitej. Przywożono m.in. śledzie, tran, wino, ocet, cukier, przyprawy korzenne.
W okresie tzw. „złotego wieku” Kazimierza powstało kilka najcenniejszych jego budowli uznanych dziś za zabytki. W latach 1585–1613 rozbudowano, powiększono o 3 kaplice i  „zmodernizowano” w stylu renesansu lubelskiego (od 1610 r. arch. Jakub Balin) kościół farny p.w. św. Bartłomieja i Jana Chrzciciela (1615 r. – ambona, 1620 r.- organy), w wieku XVII zbudowano też dwa inne kościoły: szpitalny św. Anny (1671 r.)  i klasztorny – oo. Franciszkanów (budowa od 1610 r., w 1628 r. rozpoczyna się budowa klasztoru). W 1536 r. powstała tu synagoga (obecna murowana pochodzi z 1677 r.), coraz liczniej bowiem rozwijała się tu społeczność żydowska, osiadła w Kazimierzu już w XIV wieku. Czasy największej prosperity miasta pamiętają także – wybudowane ok. 1615–1635 r. dekorowane w stylu manierystycznym kamienice bogatych kazimierskich rodów kupieckich Przybyłów, Celejów, Górskich. Należy sądzić, że w drugiej poł. XVII wieku Kazimierz był jednym z najpiękniejszych małych miast polskich.
Kres świetności miasta, którego rozwój w XVII w. hamowały częste pożary, morowe powietrze, powodzie i które już nigdy nie odzyskało dawnej pozycji, przyniosły czasy „potopu” szwedzkiego (1655-56) i wojny północnej (pocz. XVIII w.). Zburzony został wówczas zamek, kościoły i klasztor rabowane były przez Szwedów, liczba domów murowanych spadła o 90% (z 315 do 30), a ludność zmniejszyła się z 2500 do 917 osób. Wiek XVIII przyniósł pewne ożywienie handlu zbożem, ale i jego kres nastąpił ostatecznie w wyniku odcięcia Gdańska od Polski i rozbiory. Kazimierz stracił także wówczas monopol na przeprawę wiślaną na rzecz rozwijających się Puław i powolnego odsuwania się rzeki Wisły od miasta. Upadkowi miasta nie zapobiegł rozwój drobnego handlu, prowadzonego przez miejscowych Żydów, którzy od końca XVIII w. stali się dominującą grupą mieszkańców miasta (1792 r. więcej było Żydów niż Polaków) wykupując równocześnie wszystkie poważniejsze nieruchomości, w tym spichlerze. W wyniku III rozbioru Polski Kazimierz znalazł się w zaborze austriackim.
W 1809 r. wojska austriackie wysadziły częściowo zamek. Po utworzeniu Księstwa Warszawskiego Kazimierz znalazł się w jego granicach. W 1819-32 Kazimierz był miastem prywatnym, najpierw w rękach Sapiechów, potem Czartoryskich z Puław. Po powstaniu listopadowym w wyniku konfiskaty dóbr Czartoryskich od 1832 r. znów stał się miastem Skarbu Państwa.
Kazimierz uczestniczył w powstaniu Listopadowym i Styczniowym, po których nastąpiła kasata klasztoru i prześladowania mieszkańców miasteczka. Po upadku powstania styczniowego Kazimierz utracił w 1869 r. prawa miejskie zostając zdegradowany do rangi osady wiejskiej (prawa miejskie przywrócono mu ponownie w 1927 r.). Wielki pożar w 1866 r. zniszczył całkowicie północno-zachodnią pierzeję rynku z ratuszem. Pod koniec XIX wieku większość monumentalnych budowli, głównie spichlerzy i kamienic, jak również zamek, popadło w całkowitą ruinę. 
Na przełomie XIX i XX wieku wraz z poważnym wzrostem ludności głównie żydowskiej i koniecznością zabezpieczenia potrzeb mieszkaniowych, miasto zmieniało swój dawny śródmiejski charakter miasta murowanych kamienic i domów (ugruntowany w wiekach XVI, XVII i XVIII) na miasteczko biedoty małomiasteczkowej z przewagą rozdrobnionej zabudowy drewnianej z elementami ludowej ciesiołki.
W 1877 r. w związku z otwarciem Kolei Nadwiślańskiej i budową stacji kolejowej w Puławach Kazimierz zaczął być coraz chętniej odwiedzany przez mieszkańców Warszawy, Lublina, którzy prowincjonalne wówczas miasteczko zaczęli traktować jak letnisko. Dość wyraźny ruch „turystyczny” zaczął być widoczny jeszcze przed pierwszą wojną światową. Już pod koniec XIX wieku powstał tu pierwszy pensjonat i hotel - “Hotel Polski” Aleksandra Berensa (1880 r.), nazywany najpierw Gospodą Chrześcijańską. Nowym rodzajem budownictwa w Kazimierzu stały się wille i pensjonaty, których nasilony rozwój nastąpił w okresie dwudziestolecia międzywojennego. W 1909 r. miał tu miejsce pierwszy duży plener malarski zorganizowany przez Władysława Ślewińskiego (malarza z kręgu Gauguina i szkoły Pont-Aven).
W tym czasie zaczęto również powoli dostrzegać potrzebę inwentaryzacji i ratowania zaniedbanych przez kilka wieków zabytkowych budowli miasta. W 1913 r. warszawskie Towarzystwo Opieki nad Zabytkami Przeszłości powołało sekcję d/s ratowania Kazimierza, a lokalny oddział Towarzystwa powstał tu w 1916 r.. Wskutek zaniedbań wieków poprzednich i działań I wojny światowej stan miasta był bowiem bardzo zły (zniszczona zabudowa Rynku, ul. Senatorskiej, Błotnej, górna część Rynku przy farze).
Zdecydowane ożywienie miasta przypadło na dwudziestolecie międzywojenne za sprawą narastającego ruchu turystycznego i założenia tu kolonii artystycznej (to czas corocznych plenerów malarskich organizowanych od 1923 r. przez Tadeusza Pruszkowskiego, rektora Szkoły Sztuk Pięknych w Warszawie). W 1925 r. powstało Towarzystwo Przyjaciół Miasta Kazimierza Dolnego. W 1933 r. obchodzono 600-lecie koronacji Kazimierza Wielkiego.
II wojna światowa zakończyła w historii Kazimierza rozdział wspólnoty chrześcijańsko-żydowskiej, która funkcjonowała tu od czasów średniowiecznych. W marcu 1943 r. miała tu miejsce masowa eksterminacja Żydów. W klasztorze oo. Reformatów mieścił się oddział gestapo. Od 1944 r. przez półtora roku stacjonowały tu wojska radzieckie. Zniszczeniu uległa znaczna część zabytkowej substancji miasta, nadwątlona już podczas I wojny światowej, w czasie odwrotu wojsk rosyjskich. Powojennej kompleksowej odbudowie miasta towarzyszyła modernizacja i rozbudowa jego infrastruktury, zmieniająca przedwojenny krajobraz miasteczka. Kazimierz odgrodzono od Wisły wałem ochronnym z nową drogą dojazdową i bulwarem spacerowym, obmurowano brzegi Grodarza. W 1946r. w Kamienicy Celejowskiej powstała pracownia konserwacji zabytków prowadzona przez arch. Karola Sicińskiego.
Po wojnie miasteczko zaczęło odradzać się głównie jako ośrodek artystyczny i turystyczny. Znów zaczęli zjeżdżać tu malarze pejzażyści, na stałe osiedli tu Maria i Jerzy Kuncewiczowie, zaczęto organizować ogólnopolskie festiwale - Festiwal Kapel i Śpiewaków Ludowych, potem Festiwal Filmowy, ostatnio również festiwal Muzyki i Tradycji Klezmerskiej. Kilka oddziałów posiada - jedno z większych na Lubelszczyźnie – Muzeum Nadwiślańskie. Obecnie miasto liczy około trzydziestu prywatnych galerii sztuki.

Poza Kazimierzem Dolnym – jako centrum administracyjnym i najważniejszym ośrodkiem życia gminy – niemal każda położona w obszarze gminy miejscowość posiada starą średniowieczną metrykę. Występują zarówno wsie jednodrożne: Parchatka, Góry, Doły, jak też i wielodrożne: Bochotnica, Męćmierz, Skowieszynek, przy czym Męćmierz i Bochotnica posiadają w centrum układu przestrzennego wspólny plac zwany „nawsiem”. Place te pełniły w życiu gospodarczym, społecznym i kulturalnym wsi taką samą rolę jak rynek w ośrodku miejskim. Wsie posiadają również magdeburskie rozmieszczenie pól.