縣城，舊稱州城。春秋時期即為晉都。《左傳僖公十三年》曰“冬，晉荐饑，使乞汆於秦”，“秦於是乎輸粟於晉，自雍及絳相繼，命之曰泛舟之役”。絳即晉都絳，今新絳。晉靈公時期，以縣城為都，今有倉坡巷、王三府衚衕、四府街等地名和遺址為佐證。趙氏孤兒中程嬰救孤藏身之地程家衚衕亦在縣城東北居民區，其事蹟流傳千古。縣城東北5裡地侯莊坡前有晉國義士靈輒墓遺址。《史記》、《趙世家》記載，晉靈公時晉國大夫趙盾受奸臣和晉靈公謀害逃出宮門，靈輒為救趙盾壯烈死於侯莊坡下。縣城當時即為晉國政治、經濟活動中心。
戰國時屬魏，稱汾城，隸屬河東郡。秦屬河東郡。漢沿秦制，三國為魏，隸屬平陽郡。西晉依舊。南北朝時，置東雍州。北周明帝武成二年（560年）改東雍州為絳州。
北齊左丞相斛律光生前擁兵駐此，讚歎風水甚好，死後要葬在這裡。後人尊其遺志以鐵鏈懸棺葬於西北土塬。後州衙子城及城隍廟皆建於此地並立碑。此墓於上世紀三十年代始被毀。
隋開皇三年（583年）州治從玉壁遷今縣城處。廢正平郡，改為絳郡。當時城建活動主要在縣城西北塬上，建州衙，引鼓水入城，，建守居園池等地。
庚武德元年（618年）置絳州總管府，稱雄州，武德三年罷總管府。貞觀中，絳州屬河東道。唐代是絳州古城發展的重要時期。絳州當時為全國重要的鑄錢基地，是汾河流域著名的政治、軍事、經濟中心之一。由於汾水運輸之利，城市由西北向東南發展，形成居住區，奠定了絳州里坊格局。這一時期主要修建絳州大堂、寶塔等建築。
五代襲唐制，宋為雄州。宋代尊孔之風愈演愈烈，各地紛紛建文廟以祀孔子。絳州這一時期城市最大變化即在州東北營建文廟，城市自州衙向東發展。
金置絳陽軍節度使，興定二年升為晉安府。元初為中州，城市增建鼓樓、葫蘆廟，其中葫蘆廟修建在城市的東部，此時城市向東南發展已成規模。
明為絳州，隸平陽府。明代築成漸成時尚，絳州亦不例外。明代洪武元年（1368年），重修城池，周圍九里一十三步，西牆高四丈，東北高三丈五尺，東、南俱高三丈，修南北兩城門，南為朝宋，北為武靖。有五坊三關，街道牌樓建築也有特色。鼓樓西南營建了鐘樓。城門修築後，貫通南北的牛脊形街道形成，兩旁店鋪林立，商市繁華。至明，絳州古城形態基本定形。明嘉靖三十七年(1558年），在南北二門各建樓五間。隆慶元年(1567年）加高城牆，修南城護城壕、砌石堤，以防汾水沖蝕。崇禎末年(1644年）二門及城牆險要處增築炮臺。清代順治六年(1649年）建北門月城。宣統三年(1911年）新軍破城，焚南門樓。1914年(民國3年）重建。
明朝後期至清朝，縣城用地向西北、向東南發展。修繕城池，建築華麗的民宅漸成規模，私家園林如喬家花園、薛家花園等也競相興建。
縣城因地制宜，據高就低，故形制不方正。二門為順應地形也不相對應。縣衙沒有居中佈置，位於古城西部，利用地形突起縣衙的地位。鐘樓樂樓緊靠縣衙一側佈置，三樓依勢而建遙相呼應。右置文廟，一街貫穿南北。古城原由水陸埠頭髮展而來，受地形所限，因此街巷的設置不是十字形、井字形對稱格局，多為丁字路，古城劃分仍保留著唐代的行政建制，設三關（南關、北關、西關）、五坊（正平、桂林、安阜、省元、孝義。後安阜、省元合併為安元坊）、六十二巷。目前仍保留著唐代的城市格局。
縣城因其地勢西北高，東南低，酷似牛形，頭南尾北臥於汾河岸畔，故有“臥牛城”之稱。縣城佈局漸呈完整牛形，含有“神牛鎮水”之意。南北二門，南為牛咀，北為牛臀。北大街偏東，中大街偏西，南大街正同南門，如牛脊樑。東北各有幾條巷道，呈牛肋形，其中有一條就叫牛肋子巷。府君巷、韓家巷、陶家巷、四府巷如牛的四條腿。縣城南部有兩個天然水塘，稱東、西天池，是牛的兩隻明亮的眼睛。天池邊的城牆上各有一小寶塔，稱牛的兩隻犄角，北北部龍興寺寶塔是臥牛的尾巴，原來南門汾河渡口上的浮橋是神牛伸向汾河的舌頭。縣城自古不準開東南門，上世紀三十年代因工商業發展，商賈雲集，全城紳士民眾力爭，才開西門。解放後又新開東門、西北門。
縣城歷代為晉南政治、經濟、軍事重鎮。州衙建於城內西北側高地“高敞雄壯，甲於列郡”。七間正堂，雄偉壯觀。唐代張士貴曾作為帥府大堂。貢院位於城西中部，明正統時曾為察院。城北屯兵，列營紮寨，至今猶留寨裡村名。
自秦晉泛舟之役後，汾、黃、渭三河聯運即成為連接山西、陝西兩省水路交通運輸的通道，今縣城南關古渡口岸即成為著名的水旱碼頭，以致木船製造業及貨運船隊歷代不絕。《左傳·昭公元年》曰：“後子享晉侯，造舟於河，十里舍車，自雍及絳。”公元前541年，秦國公子後子為避宮廷之亂準備到晉國去，晉矦（平公）接納了他。在黃河上排列船隻架設浮橋，每隔十里停放一批車子，自秦都雍城直到晉都絳城。古絳州志載：每歲秋冬，陝船自渭河入黃河轉汾河，以至絳，春初西返。來時裝載著陝西漢中一帶盛產的菜籽油，船泊在縣城南關碼頭，貨銷於縣城一帶的烤煙坊；來年春天西返時載滿絳州、陽城等地所產鐵貨回陝銷於漢中。故民間謂之油鐵帆船（分渭河幫、黃河幫）。時木船長13.3米，寬6.6米，高1.66米，吃水深0.67米，可載重5萬餘公斤。（新中國成立初期，縣城南關仍有木船製作匠，為縣城南門渡浮橋造舟。1958年，在縣城西三林鎮設有晉南造船廠，造80馬力拖船一艘，135馬力客船10艘，木船4條。1960年因汾河水位日淺，才將造船廠遷往風陵渡。）
縣城得汾水船運之便，為晉南唯一工商業集散地，凡洋貨之輸入及土貨之輸出，均以此為樞紐（民國版《中國實業志》載）。據永濟舊志載：“是以西北多偫皮裘，晉絳工為毳，澤潞織作，貨出中國，求之於蒲。”《山西商業雜誌》（1922年）載：“查河津當秦晉之要衝，有禹門之過渡。……顏料、綢緞、洋布及各種裝飾品，大半來自新絳，……”說明當時縣城的工商土產，經水旱兩路轉之永濟而走河洛，到河津而去陝甘。清末，縣城的工商業發展到一個鼎盛時期。俗語稱新絳“七十二行，行行俱全”，新絳縣是個“小北京”等。據有關資料記載，縣城當時有鹽店、當鋪、古玩、估衣、珠寶、京貨、雜貨、綢緞、五金、皮毛（革）、煤油、染料、菸草、南紙、竹紙、錢莊、花店、麻店、糧店、油店、酒店、鐵貨、山貨、爛貨、碎貨、書籍文具、鞋店、瓷器、竹器、磨坊、茶莊、茶館、中西藥店、車馬店、旅館、飯館、理髮、照相、澡堂、肉鋪、饃鋪、餅子鋪、青菜、海鮮、鐘錶、眼鏡等51個行業，手工業產品700餘種，花樣品種1200種以上。商戶（含攤販）達1400餘戶，從業人員5000餘人。運入貨口之來源為天津、上海、陝西、安徽、山東、福建、青島及本省；運出貨口之銷路為陝西、甘肅、河南及本省各縣。縣城當時商業佈局大體情況是：南北大街以零售為主，各行業都有。臨街門店多為二層木質結構樓房，鋪面一、二、三間不等。街面商鋪也有前店後廠獲上廠下店的，自產自銷。大的批發商分行業集中在後街。京貨、布匹、花店多在西關；洋行（煤油）、染料多在木匠巷、孫家巷；鐵廠、糧店多在南關；雜貨多在東嶽巷、中城巷、孫家巷；古玩珍寶多在仁義巷；估衣店多在府君巷；鹽店在四府巷；皮毛（革）在南大街；農貨市場在東嶽廟。坐商如錢莊、皮行、街面鋪店多為本地人經營；行商如洋行多為京、津、河北人經營；雜貨多為萬榮人經營；手工業紡織員以河南、晉東南人為多；京貨、肉鋪、飲食業多是稷山人經營；理髮為高平人。各業均有行會、商幫理訟，管理為各坊街長。故無欺行霸市、哄瞞顧客之事，行誠信經營、講商業道德之美。縣城內外各路各行客商雲集，大街小巷車水馬龍，行人摩肩接踵，店幌布幜，鱗次櫛比。
1932年前後，隴海、同蒲兩大鐵路幹線相繼建成通車，動搖了縣城水旱碼頭的強勢地位，無數貨店逐漸歇業。1936年9月汾河暴漲，洪水湧進縣城南門，直淹到中大街府君路口，數百工商戶遭災。1938年3月日寇鐵蹄踏進縣城，居民流離，工商業一跌千丈，元氣大傷，直至解放時縣城仍蹶挫不振，市面蕭條。
縣城是一座國家級歷史文化名城（1994年國務院批准），老城區範圍內有國家級、省級、縣級重點文物建築33處。隋代的絳守居園池在全國園林史上獨一無二；唐朝的龍興寶塔、篆刻碧落碑、絳州大堂；宋代的文廟大成殿；元明時代的鐘樓、鼓樓、樂樓、七星坡、三官廟；金代全國唯一的萬斤大鐵鐘；清朝豪華的民居和園林；民國時期西歐哥特式天主教堂，伊斯蘭教清真寺等，在這裡可以品味各個朝代不同時期遺留給人們的文化信息。
1947年解放縣城時，炸開西城牆西關附近一段，遂成為西門，後陸續開了新北門和東門。1962年縣石油公司將原北門及甕城佔用為油庫，另在東南側開一新門。1975～1976年大規模整修拓寬南北大街，縣城唯一保存完好的南門洞及南城牆被拆除，並將東城牆推平填入東天池，在鐘樓西部和城牆基地上改造大批民房。80年代又陸續推平西城牆、北城牆，僅殘留東北角一小部分城牆。這一時期的城建活動，拓寬馬路，毀掉古城，破壞了一批文物古蹟，古韻古味之縣城也不復存在。
