Po založení Nového Města Karlem IV. se místo nazývalo Velkým tržištěm (Forum Magnum), Novoměstským rynkem (Circus Novae Civitas) nebo rynkem Hořejšího města. Význam náměstí byl podpořen i umístěním Novoměstské radnice v jeho severní části. V 15. st. se již užívá názvu Dobytčí trh. Ve středu náměstí stávala od r. 1393 až do roku 1791 kaple Božího těla hvězdicového půdorysu. Vedle ní ležel malý hřbitov, kde byl pochován Jan Kampanus Vodňanský. V r.1784 za Josefa II. byla zrušena a zbořena. Před stavbou kaple zde stávala věž, v níž se každý druhý pátek po Velikonocích konalo předvádění svátostí a říšských korunovačních klenotů, což lákalo do Prahy návštěvníky z celé země i z ciziny. Na náměstí byl vězeňský špitál (v jižní části) a třináct starých domků. U jednoho z nich ležel podle pověsti velký mramorový kámen s vytesaným křížem, umrlčí hlavou a letopočtem 1627. Kámen prý označoval popravní místo, kde se za noci tajně popravovaly odsouzené osoby duchovního a šlechtického stavu. První poprava zmíněného roku prý byla vykonána na několika protestantských kněžích, kteří osnovali spiknutí proti císaři. V severní části náměstí stávala tzv. slanečková bouda, kde se prodávaly sušené ryby a slanečci a sůl. Před zbořením se pak do r. 1862 pod názvem Salle romaine pronajímala různým artistickým skupinám, cirkusům, ochotnickým společnostem.

V pol. 19. st. se náměstí přejmenovalo na Karlovo. O zlepšení vzhledu blátivého prostoru, zachování jeho celistvosti a první výsadby stromů se zasloužil hrabě Karel Chotek. R. 1876 byly dokončeny práce na parkové úpravě náměstí v anglickém slohu podle plánu arch. Bedřicha Wünschera. Práce vedl přední český zahradník Josef Fiala. Podle tehdejších plánů byla ve střední části parku umístěna kruhová kašna a okolní prostor byl rozdělen cestami na l6 menších ploch stromů a křovin. Na okrajích parku pak bylo osazeno několik řad stromů. Podle soupisu stromů z roku 1886 jich bylo v celém parku 352.

V letech 1884 - 85 došlo k realizaci plánu nového ředitele pražských zahrad a parků Františka Thomayera, který architektonicky sjednotil obě části náměstí a vysadil obvodové stromořadí. Použil zejména odolné jerlíny japonské, svitely latnaté, javor stříbrný, dub velkoplodý, platany javorolisté. Jerlíny jsou výjimečné svou jemnou symetrickou korunou a pozdním květem, svitely latnaté se zdobí stříhanozubatými listy a plodnicemi ve tvaru efektních nafouklých tobolek. Kromě těchto dvou zajímavých exotů zanechalo thomayerovské období v parku zejména javor stříbrný, topol šedý, dub velkoplodý, jilmy, jasan žláznatý, platany javorolisté a katalpu obecnou. Z pozdějšího období můžeme jmenovat dřezovec trojtrnný, jinan dvoulaločný, javor přehlížený, několik krásných exemplářů lísky turecké, dub pýřitý, slivoň mahalebku, střemchu obecnou, keře zimolezu, fontanesie Fortunovy, šeříky, zlatici převislou, pámelníky a čimišníky. Park má na svém obvodě ochranný pás z bílých trnovníků akátů a pastelových šeříků s vůní mírně omamnou, takže okolní pouliční ruch se k parku chová docela přátelsky.

Ve více než stoletém trvání parku se část dřevin vystřídala, ne co do druhů, ale co do nových výpěstků. Přihlíželo se vždy k odolným listnáčům. Hlouček borovic a tisů z pozdější sadby je spíš výjimkou než pravidlem. V roce 1970 - 72 bylo soupisem zjištěno na Karlově náměstí 79 druhů dřevin, z toho 78% cizokrajných. Pravděpodobně nejstaršími stromy, z předthomayerovského období, jsou platan javorolistý ve střední části parku a trnovník akát na okraji parku blíž pomníku Elišky Krásnohorské. Platan javorolistý má už dnes dutý zakonzervovaný kmen, postranní větve však stále živě rostou.

Za první světové války zanikly porosty stále zelených dřevin, cibulovitých květin a porosty vavřínů stromkovitého typu. Německá okupace poznamenala park vybudováním protipožární nádrže před Novoměstskou radnicí a protileteckými kryty v jižní části. V letech 1945 až 1947 byl park postupně znovu obnovován, ke své bývalé nádheře se však už nevrátil. Místo vybombardovaných krytů bylo v letech 1948 - 49 upraveno dětské hřiště.

V centru dvou větších částí parku jsou dvě vodní nádrže. Dodnes tvoří park jeden celek, přestože ho protínají dvě frekventované komunikace (Ječná, Žitná). V severní části parku před soudní budovou je osazen pomník Vítězslava Hálka s fontánkou od Bohuslava Schnircha z r. 1881. Nedaleko před Novoměstskou radnicí stojí barokní kašna se sochou sv. Josefa od Matouše Jäckela z r. 1698. V obou rozích větších částí parku při Resslově ulici jsou výstupy z metra. Nedaleko před budovou ČVUT stojí socha Elišky Krásnohorské (Karla Vobišová, 1931), naproti přes ulici pomník Karoliny Světlé (Gustav Zoula, 1910). Roku 1960 vytvořila Jaroslava Lukešová sochu Jana Želivského. Před kostelem sv. Ignáce je pomník Jana Evangelisty Purkyně (Oskar Kozák, Vladimír Štrunc, 1961), proti Faustovu domu pak pomník botanika Benedikta Roesla (Čeněk Vosmík, Gustav Zoula, 1898).
Karlovo náměstí je považováno za největší pražské náměstí s největším počtem plastik. Jeho rozlohu uvádí např. Emanuel Poche 80.500 m2 (8,05 ha). Plocha vlastního parku podle publikace Pražské zahrady a parky (r. 2000) je 3,85 ha, s obvodovými chodníky a parkovacími plochami pak 4,63 ha.
V r. 1995 - 96 zpracovala arch. Magdalena Dandová a Jaromír Kosnar projekt rehabilitace parku. V r. 1998 zatím byla provedena první etapa v severní části přiléhající k Novoměstské radnici.