秦朝時期的南越
秦漢時期大部分漢人對嶺南區域和東部海濱區域都是很陌生的，這裡多山和多沼澤的環境使北方人難於忍受，同時過多的瘴氣也使人容易生病。秦漢時期居住在嶺南地區的部落大多是越人，古時候的越人分為兩大種群，一個是兩廣地區的南越，一個是閩江地區的閩越。在當時的天國思想裡，漢人認為這些地方都是蠻夷之地，越人都是不開化的人種。
雖然秦朝的統治很短暫，但是秦帝國還是派了大軍向南挺進，建立了桂林、南海和象三個郡。秦朝末年由於中原大亂，南嶺地區的地方領袖趙佗自立為王，他的稱號和地位在公元前196年得到漢高祖的認同，據說南越和漢朝的這一關係是陸賈從中斡旋促成的。
西漢的南越
隨後的南越國並未滿足與漢朝保持友好的關係，後來由於呂后當政，大漢與南越國開始交惡，趙佗便自稱南越武帝。這種做法使得南越國不再是大漢的藩屬國，而是與大漢平起平坐的兄弟之邦。趙佗對於大漢禁止向南越國貿易鐵器和母畜的命令十分憤怒，所以他時常騷擾他的北方鄰居長沙國。為了解決大漢月南越國的爭端，陸賈第二次出使南越國，並與南越國達成協議：趙佗繼續保持其在南越國內的權力，但是必須放棄“帝”的稱號，並向大漢稱臣。
公元前135年，趙佗請求大漢幫助他去對抗閩越的軍事進攻，他的請求得到了大漢的回應。雖然閩越的進攻是因其內亂導致終結的，但是趙佗還是感到了大漢的誠意，在穩定國內局勢後，趙佗將自己的兒子送到大漢皇宮擔任宿衛，為大漢皇帝進行服務。
但是由於南越內部的政權更迭導致南越對大漢的態度也在時刻變化。公元前113年，南越國太后希望南越國可以向大漢的其它藩屬國一樣併入大漢，但是太后的這一想法遭到了權臣的反對。這個太后就是趙佗被送到京城做宿衛的兒子在京城取的漢人媳婦，所以她一直期望南越能夠併入大漢。
反對太后計劃的人主要是呂嘉，他的背後有眾多的大臣，所以實力也不可小視。公元前112年，呂嘉勢力開始採取軍事手段，欲置太后於死地。為了維護自己的權威，大漢派出了遠征軍對呂嘉勢力進行圍剿。這支大軍在路博德和楊僕的統領下，順利的攻下了南越諸郡，取得了最終的勝利。軍事行動結束後，大漢在南越地區建立了九郡以便對其進行管理。
雖然西漢時期，大漢已經在嶺南地區建立郡縣制度，但是大漢的文化及生活方式對嶺南百姓的影響並沒有多少。直到王莽時期，嶺南百姓生活習性與大漢百姓還是有較大區別，特別是語言更是不相同。
東漢時期的南越
但是在光武帝時期，嶺南地區百姓開始出現了農耕，而且也有了私塾和相關的婚姻制度，這說明此時的嶺南開始接受大漢的文化輸入。光武帝時期，南越的各個地方首領都向大漢臣服，但是在今天的越南地卻爆發了叛亂。這場叛亂是由徵側和徵貳兩姐妹領導的，這場叛亂頂峰時期捲入了南越的65個城鎮。
光武帝為了徹底抑平南越叛亂，派出了他的最傑出將領——馬援出征。馬援將軍帶領一萬多漢軍加上週邊各地方首領的支持，南越這場叛亂很快便被平定，徵側和徵貳兩姐妹被斬首示眾，馬援將軍在平定叛亂的同時也對當地的法令進行了修訂，以便南越百姓能夠安居樂業的生活下去。
東漢其餘的時間裡，南越一直保持著和大漢的友好關係，眾多的地方首領都去京城對皇帝進行了朝拜。但是公元100年到184年之間，南越地區發生了不少於7次的暴動。為了穩定南越局勢，東漢大臣進行了激烈的爭論。爭論的最終結果是李固的平和安定論佔了上風。
隨後朝廷按照李固的諫言，向南越地區選派卓越的官員，並提拔吸納當地紳士進入官僚階層。按照李固的方法，南越地區很快又恢復了安定。但是由於距離中央朝廷過於遙遠，南嶺的確很快再度陷入混亂。而此時的大漢帝國也陷入了混亂，再也無法對南越進行有效的管理，從此南越開始陷入長時間的動亂之中。
