Zwoleń powstał na gruncie wsi Gotardowa Wola w latach 20-tych XV wieku, na mocy przywileju wydanego przez króla Władysława Jagiełłę. Datowane dokumenty lokacyjne z 1425 roku poświadczają zaawansowany już stopień zasadzenia osady.

Lustracja miasta z 1564 roku potwierdza ważność szlaku komunikacyjnego biegnącego z Lublina przez Zwoleń do Radomia i Wielkopolski. Ważnym czynnikiem do intensywnego rozwoju miasta było rzemiosło, które już w 1555 roku otrzymało prawo zrzeszania się w cechy.

W latach 1566-1575 Jan Kochanowski pełnił tu funkcję prebendarza. W wyniku potopu szwedzkiego Zwoleń poniósł ogromne straty materialne i ludzkie, które zaważyły na jego dalszych losach i spowodowały, że miasto nie powróciło już do dawnej świetności. W 1800 roku przebywał tu, wraz ze swym sztabem, książe Józef Poniatowski. Po likwidacji Księstwa Warszawskiego i utworzeniu w 1815 roku Królestwa Polskiego, Zwoleń wszedł w jego skład.

Od tego momentu zmienił się ustrój miasta, wprowadzono urząd burmistrza wraz z jego ławnikami. Za udział w powstaniach narodowych władze carskie zdegradowały Zwoleń do miasta osady. Efektem tego był zastój ekonomiczo-gospodarczy.

10 VI 1925 roku decyzją Rady Ministrów Zwoleń ponownie zostaje wpisany w poczet miast.

Wybuch II wojny światowej okazał się tragiczny w skutkach, miasto zostało zniszczone w 90%. Za udział w ruchu oporu mieszkańcy Zwolenia i okolic trafili do więzień, a także ginęli w katowniach gestapo.

Dalsza historia Zwolenia to dźwiganie się z pożogi wojennej. Przykładem tego może być powołanie w pierwszych miesiącach po ustaniu działań wojennych Gimnazjum przekształconego później w Liceum Ogólnokształcące. Uruchomiono również średnią szkołę rolniczą.

30 IX 1954 roku w Zwoleniu zostaje utworzony powiat, podnosi to znacznie rangę miasta. Powstają dogodne warunki do rozwoju infrastruktury gospodarczej i przemysłowej. Powstaje filia Zakładów Metalowych "Łucznik" oraz Zakłady Mięsne.

W latach 1970-1972 Zwoleń zdobył I miejsce w konkursie "Mistrz Gospodarności". Po likwidacji powiatu 21 sierpnia 1975 roku gmina i miasto zostają połączone w jedną jednostkę administracyjną. W skład gminy weszło 28 okolicznych wsi. Na podstawie ustawy z marca 1990 roku o terenowej organizacji rządowej w dniu 1 sierpnia 1990 roku zostaje utworzony w Zwoleniu przez Szefa Rady Ministrów Urząd Rejonowy, obejmujący swym zasięgiem 7 gmin w tym miasta Zwoleń i Lipsko. Od 1999r. Zwoleń jest siedzibą Starostwa Powiatowego.