公元前60年左右，匈奴虛閭權渠單于死，引起內部分裂，先後出現五單于爭立的情況，混戰不斷，最後發展為呼韓邪單于和郅支單于的相互攻伐。
五鳳四年（前53年）夏，呼韓邪單于被其兄郅支單于擊敗，引眾南近塞，遣子入漢為質，對漢稱臣，欲借漢朝之力保全自己 。
甘露三年（前51年）正月，南匈奴首領呼韓邪入朝朝覲宣帝於甘泉宮（今陝西淳化西北）。
建昭三年（前36年），西漢與北匈奴的戰爭中，漢西域都護騎都尉甘延壽、副校尉陳湯擊滅郅支單于於康居。
數年後，鑑於郅支單于被西漢遠征軍誅滅（漢朝是真的強啊）。內患已消，力量漸強，南匈奴乃率部重歸漠北。
東漢初年，建武二十四年(48)，匈奴內部為爭王位發生動亂，匈奴貴族相互殘殺。匈奴再次分裂成南北二部，南部匈奴人立日逐王比為醢落屍逐鞮單于，建庭五原塞（今內蒙古包頭），依附東漢稱臣，被漢光武帝安置在河套地區。
次年，遷庭於美稷縣（今內蒙古準格爾旗西北），即“南庭”。漢朝置使匈奴中郎將率兵保護其安全。
東漢中晚期，外戚宦官干政，造成內部政局不隱，難以駕馭控制，遂南匈奴多次反叛與鮮卑聯兵襲掠邊塞殺官吏。期間幾位南單于被部屬所殺。
中平四年十二月，休屠各(休屠，意為大地女神)與南匈奴貴族擔心漢朝徵發匈奴軍隊的事不會停止，反叛單于侵邊，幷州大亂。定襄、雲中、五原、朔方、上郡一併流徙分散。中平五年正月，休屠各寇西河，攻殺西河郡守邢紀。
中平五年三月(188年4月前後)，休屠各攻殺幷州刺史張懿。遂與南匈奴左部胡合，號稱有十萬人，殺其單于羌渠。(另一處記載卻是，南匈奴右部醯落與休著各等攻殺單于羌渠。)
東漢中平年間，劉豹的祖父羌渠單于派其子於扶羅（劉豹的父親）率兵援助東漢，討平黃巾軍。當時正碰上羌渠單于遭國人殺害，因此於扶羅將所率領的兵眾留駐在東漢，自稱單于。緊接著董卓叛亂，於扶羅率兵劫掠太原、河東，後駐紮河內。
公元195年，諸侯割據。南匈奴參與了中原封建軍閥的混戰，沿黃河而下。此時，南匈奴已經佔據黃河流域諸多郡縣。
於扶羅死後，於扶羅的弟弟、劉豹的叔父呼廚泉繼任單于之位，任命劉豹為左賢王。
公元202年，南匈奴首領歸附曹操。曹操為了北方的穩定，先後將南匈奴分為五部每部擇立貴族為帥，另選漢人為司馬對其進行監督。同時，曹操還把幷州的匈奴人編入漢族。這樣，南匈奴上下完全編入曹魏政權，中國北方完成了實際的統一。
公元216年，曹操拘留南匈奴末代單于呼廚泉單于，派右賢王去卑監國，將南匈奴分成五部，即左、右、南、北、中，分別安置在陝西、山西、河北一帶。
鹹熙年間，劉淵作為人質住在洛陽，受到當時曹魏權臣司馬昭厚待。泰始年間以後，王渾多次在晉武帝司馬炎面前推薦他，於是晉武帝召見劉淵，與他交談，非常賞識。
晉武帝對王濟說：“劉淵的容顏、儀表，即使是春秋的由余、漢代的金日磾不能高出他。”王濟接著說：“劉淵的外在儀表、容顏，實在如陛下您所說。然而，他的文武才幹又超出由余、金日磾很遠。陛下您若能委任他統領東南地區的事務，那麼，吳會地區就不愁不能平定。”晉武帝欣然讚許。但是孔恂、楊珧進言說：“依臣觀察，劉淵的才幹現在恐怕沒有人能與他相比。陛下若是不重用他，便成不了大氣候。若是授予他權力，樹立他威望，那麼，平定吳地之後，恐怕他就不再向北渡江回師了。劉淵與我們不是一個民族，必然會有異心。
現在，委任他治理本部的事務，我們已為陛下您感到擔心，若是還要將天然險阻之地賜給他，恐怕是不行的。”晉武帝默然不語。
泰始六年（270年）與咸寧四年（278年），禿髮鮮卑部首領禿髮樹機能兩次擊敗斬殺秦州刺史胡烈和涼州刺史楊欣，於是西晉發兵秦、涼二州，準備平定叛亂，但晉軍初戰潰敗，所以晉武帝訪求將帥們收復失地的辦法，上黨人李憙說：“陛下您若是真的能夠徵發匈奴五部的兵眾，授予劉淵一個將帥的封號，讓他們向西部進軍，那麼，西部的秦州、涼州便指日可定。”孔恂說：“李公的話，不完全符合消除禍患的情理。”李憙勃然大怒道：“憑匈奴人的強悍，劉淵的熟悉兵法，讓他們奉命去顯示皇上的聖武，有什麼不能得到！”孔恂接著說：“劉淵若是能夠平定涼州，斬殺樹機能，恐怕涼州境內又要亂了。蛟龍得到雲雨，就不再是池塘中無法施展能耐的小東西了。”晉武帝於是放棄任用劉淵的打算。
後來，王彌從洛陽東回故鄉東萊，劉淵在九曲河濱為王彌餞行，流著淚對王彌說：“王渾、李憙因為同鄉的緣故而對我有所瞭解，他們常常稱道、推薦我，可是一些人也乘機向皇上大進讒言，這些都不是我所希望的，相反，剛好足以對我構成危害。我本來並沒有做官的想法，這一點只有您知道。恐怕我會死在洛陽，永遠與您訣別了。”因此情緒激昂，盡情地喝酒，大聲地慨嘆、呼叫，聲音嘹亮，在坐的人禁不住因此而流淚。
齊王司馬攸當時正在九曲，聽說此事便派人快馬去察看，看見劉淵在那裡，於是對晉武帝說：“陛下您如果不除掉劉淵，恐怕幷州就不能夠長久地安定。”王渾又進言道：“劉淵是長者，我王渾替君王擔保講明此事。況且大晉正要向少數民族表明用誠信相待，用德政使遠方的人歸附，怎麼能夠憑連萌芽狀態都沒有的嫌疑殺戮別人送來伺候的人質，以表明晉朝恩德不廣呢？”晉武帝同意王渾所言，最終沒有殺劉淵。
咸寧五年（279年），劉豹去世，西晉朝廷任命劉豹之子劉淵為代理左部帥。
太康十年（289年），晉武帝任命劉淵為北部都尉。劉淵在任期間，嚴明刑法，禁止各種奸邪惡行，他不看重財物，愛好施捨，與他人相交，推誠相見。於是匈奴五部的豪傑都紛紛投奔到他的門下，就連幽州、冀州知名的儒生，後學中傑出的人士，都不遠千里來此遊歷。
永熙元年（290年），晉惠帝司馬衷繼位，由外戚楊駿輔佐朝政，楊駿便任命劉淵為建威將軍、五部大都督，封爵為漢光鄉侯。
元康末年（300年），劉淵因為部人叛逃出塞而被免官。不久成都王司馬穎鎮守鄴城，上表推薦劉淵擔任寧朔將軍、監五部軍事。
晉惠帝時，因八王之亂戰火再起，趙王司馬倫、齊王司馬冏及長沙王司馬乂先後以軍事力量上臺掌權，司馬倫更曾篡位稱帝，當時天下大亂，盜賊蜂起。
劉淵的堂祖父，原來的北部都尉、左賢王劉宣等人秘密商議說：“以往，我們的先人與漢朝約為兄弟，憂和喜共同享有。漢朝滅亡以來，魏、晉繼而興起，我們單于，雖然有一個空虛的名號，可是不再擁有哪怕一尺土地的基業，從王侯慢慢下降到同平民差不多。現在司馬氏親骨肉間相互殘殺，天下一片動盪，我們建立國家、復興祖業的時機到了。左賢王劉淵的姿貌、風儀和才能超人絕世，上天倘若不是要光大單于，不就虛生這種偉人了嗎？”於是秘密地共同推舉劉淵為大單于，並且派他們的黨羽呼延攸到鄴城，將秘謀的內容告訴劉淵。
劉淵請求回故地會合行送葬之禮，司馬穎沒有答應。於是劉淵讓呼延攸先回去，告訴劉宣等人招集五部人眾，會同宜陽的諸多胡人，表面上宣稱響應司馬穎，實際上卻是要圖謀叛變。
永安元年（304年），司馬穎擊敗司馬乂，成為皇太弟，任命劉淵為屯騎校尉。不久，東海王司馬越和陳昣等與晉惠帝征討司馬穎，駐紮在蕩陰。
司馬穎任命劉淵為代理輔國將軍，負責北城防守諸事務。等到晉惠帝六軍戰敗時，司馬穎任命劉淵為冠軍將軍，封為盧奴伯。
不久，幷州刺史東贏公司馬騰、安北將軍王浚，起兵討伐司馬穎。劉淵勸司馬穎說：“現在二鎮的人驕橫強暴，兵眾十萬，恐怕不是宿衛軍以及都城附近的兵士所能抵抗得了的，我請求回去為殿下您勸說五部的人馬來赴國難。”司馬穎說：“五部的人馬可以擔保前來嗎？即使能夠前來參戰，鮮卑、烏丸之人強勁、快捷如同風雲，是那麼容易抵擋的嗎？我想護送皇上回洛陽，以避開他們的鋒芒，接著再慢慢地告示天下，以叛亂的名義，名正言順地制服他們。您認為怎樣？”劉淵回答說：“殿下是武帝之子，對王室有突出的功勞，有威望、恩澤廣，天下人都欽佩您的風範，誰不想為殿下您赴湯蹈火、獻出生命呢？這種情況下，徵發士兵有什麼困難呢？王浚是個小人，東嬴公只是個偏遠的旁枝，他們哪能與殿下您抗衡！殿下您如果一離開鄴宮，就等於向他人示弱，這樣，洛陽到達得了嗎？縱然到達洛陽，恐怕威望、權力就不在殿下您的手裡。一紙檄文，一尺書信，有誰肯去為他人尊奉這些！況且東胡的強悍不能超過五部之人，希望殿下您鼓勵、安撫兵眾，平定混亂，鎮守住鄴城，我當為殿下您以二部的兵力摧毀東嬴公，以三部的兵力斬殺王浚，兩個小人的首級指日就可懸掛在鄴城城頭。”
司馬穎非常高興，於是任命劉淵為北部單于、參丞相軍事。劉淵回到左國城（今山西離石）後，劉宣等人便為劉淵上大單于的稱號，二十日之間就聚眾五萬，定都離石。
及後，王浚派將軍祁弘率領鮮卑兵眾進攻鄴城，司馬穎戰敗。
於是，挾持天子向南朝洛陽奔逃。劉淵說：“司馬穎不聽我的話，自己向相反的方向潰逃，真是蠢才。然而，我與他有言在先，不能不去救他。”
於是，命令右於陸王劉景、左獨鹿王劉延年等人率領步兵騎兵二萬，將去討伐鮮卑。
劉宣等人堅決勸阻道：“晉朝昏庸無道，他們像對奴隸一樣對待我們，所以右賢王劉猛非常憤怒，承受不了心中怨恨，想有所作為，當時正碰上晉朝綱紀還未鬆弛，大事還沒有成就，右賢王就被殺戮，這是單于的恥辱。現在，司馬氏父子兄弟互相殘殺，這是上天厭惡晉朝的德行，將天下授予我們。單于積德在身，連晉人都佩服，現在，正應該振興我們國家和民族，恢復呼韓邪的基業，這樣，鮮卑、烏丸可以作為我們的援助力量，怎麼可以阻擋他們而去拯救仇敵呢！現在，上天借我們的手來消滅晉朝，不能夠違背天意。違背天意就不祥，違背眾人的意願就不能成就事業。上天賜予了而不接受，反過來就會受到上天的責備。希望單于不要遲疑了。”
劉淵聽後說道：“說得對。應該做高山峻嶺，怎麼能甘心做低矮的小土丘呢！天下的帝王也不是固定不變的，大禹出自東戎，周文王出生在西夷，誰該做帝王，只是按德行的高低授予。現在，我們有兵眾十多萬，如果我們擊鼓進軍、摧垮晉朝，必將如同摧枯拉朽。這樣，最理想的，可以成就漢高祖一樣的基業，最差的也不失做一個魏氏。雖然結果將是這樣，但是晉朝的百姓不一定贊同我們。漢朝統治天下的時間久長，恩澤深入人心。所以，昭烈帝劉備僅在一州的土地上奔馳，就可以與天下相抗衡。我又是漢朝劉氏的外甥，我們的祖先曾與漢朝相約為兄弟，兄長滅亡了，弟弟來繼承，不也是應該的嗎？況且，我們還可以稱漢，追認並尊奉後主劉禪，以此來使天下人的期望歸向我們。”於是，遷都到左國城。
元熙元年（304年），劉淵在南郊築壇設祭，自稱漢王，赦免境內囚犯，建年號為元熙，追尊劉禪為孝懷皇帝，建造漢高祖以下三祖五宗的神位進行祭祀，立妻呼延氏為王后。署置百官，任命劉宣為丞相，以崔遊為御史大夫，宗室劉宏為太尉，其餘的人授官各有等差，國號為漢（史稱漢趙、前趙）。
東嬴公、幷州刺史司馬騰聞訊，派將軍聶玄討伐劉淵，戰於大陵（今山西文水），聶玄軍大敗，司馬騰害怕，於是率領幷州二萬多戶百姓逃到山東，到處侵犯、騷擾。劉淵乘勝進軍，派遣建武將軍劉曜接連攻下太原、泫氏、屯留、長子、中都。
元熙二年（305年），司馬騰又派司馬瑜、周良、石鮮等人率軍討伐劉淵，他們駐紮在離石的汾城。劉淵派遣武牙將軍劉欽等六軍迎戰司馬瑜等人。四次交戰，司馬瑜都被擊敗，於是，劉欽整頓軍隊，凱旋迴師。
同年，離石發生大饑荒，劉淵遷居黎亭，以便食用邸閣屯積的糧食。劉淵留太尉劉宏、護軍馬景守離石，派大司農卜豫運送糧食供給他們。接著，任命前將軍劉景為使持節、征討大都督、大將軍，在版橋截擊劉琨，被劉琨擊敗，於是，劉琨進據晉陽。
侍中劉殷、王育規勸劉淵道：“殿下您從起兵至今已一年，然而，只據守在偏遠的地方，威望還未遠震，如果真的能夠命令將士四出攻擊，抓住機會，大膽地決戰，斬殺劉琨，平定河東，建立皇帝的名號，向南大舉進軍，攻克長安，並將它作為國都，再率領關中的兵眾席捲洛陽，就像轉動指掌一樣容易。這也是漢高祖之所以能開創宏基、消滅強楚的策略。”劉淵高興地說道：“這就是我之所想。”於是進據河東，攻佔蒲阪（今山西永縣）、平陽（今山西臨汾）。
接著，劉淵進入蒲子，並將它作為都城，河東、平陽屬縣的各壘壁都投降於他。當時，汲桑在趙魏起兵，上郡四部鮮卑陸逐延、氐族酋長單徵、東萊人王彌以及石勒等人都相繼投降劉淵，劉淵都授予他們官爵。
永嘉二年（308年），劉淵正式稱帝，大赦境內囚犯，改年號為永鳳。任命大將軍劉和為大司馬，封梁王，尚書令劉歡樂為大司徒，封陳留王，御史大夫呼延翼為大司空，封雁門郡公，宗室中以親疏為等級，皆封郡縣王，異姓中以功勞、謀略為等級，皆封郡縣公侯。
太史令宣於修之對劉淵進言道：“陛下您雖然如龍騰起，如鳳翱翔，接受大任。然而，晉朝餘部尚未消滅，皇族居室窄陋，紫宮星座的變化，還指向晉氏，不出三年，必定能夠攻克洛陽。蒲子地域崎嶇狹小，不可長久安身。平陽有天子之氣，又兼是陶唐的舊都，希望陛下您上合天象之變，下合地理之祥。”於是遷都平陽。
有人從汾水中得到玉璽，上面的文字是“有新保之”，大概是王莽時的玉璽，得到的人順便增加了“淵海光”三字，劉淵認為是自己的好徵兆，於是大赦境內囚犯，改年號為河瑞。又封他的兒子劉裕為齊王，劉隆為魯王
不久，劉淵命其子劉聰和王彌進攻洛陽，劉曜和趙固等人作為後繼。西晉東海王司馬越派平北將軍曹武、將軍宋抽、彭默等人迎戰，晉軍大敗。
劉聰等率軍迅速到達宜陽。平昌公司馬模派將軍淳于定、呂毅等率軍從長安討伐劉聰軍，在宜陽決戰，淳于定等大敗。劉聰依仗連續的勝利，沒有設防，弘農太守垣延假稱投降，乘夜偷襲，劉聰軍大敗而回，劉淵穿著白衣服前來迎接。
同年冬，再次徵發士卒，派遣劉聰、王彌與劉曜、劉景等人率領精銳騎兵五萬去進攻洛陽，派呼延翼率步兵接應，結果，在黃河南面將晉軍擊敗。
劉聰進軍，駐紮在洛陽西明門，西晉護軍賈胤乘夜接近他們，在大夏門大戰，斬殺劉聰的將領呼延顥，呼延顥軍潰敗。
劉聰向南撤退，在洛水構築壁壘，不久，又進駐宣陽門，劉曜駐紮在上東門，王彌駐紮在廣陽門，劉景攻擊大夏門，劉聰親自到中嶽嵩山求神，命令將領劉厲、呼延朗等負責指揮留守的士兵。東海王司馬越命令參軍孫詢、將軍丘光、樓裒等人率領手下勇士三千，從宣陽門攻擊並斬殺呼延朗。
劉聰得到消息後快馬趕回，劉厲因害怕劉聰給自己治罪，於是投水而死。王彌勸劉聰說：“現在既然失利，而洛陽又非常牢固，殿下您不如回師，以後再慢慢地圖謀。我當在兗州、豫州之間招募兵士，收聚糧食，以等待進攻的日期。”宣於修之又勸劉淵說：“辛未那一年，當攻下洛陽。現在晉朝的紫氣還很盛，大軍不回，必定失敗。”劉淵派黃門郎傅詢快馬召劉聰等回師。王彌從轘轅撤出，司馬越派薄盛等人率兵追擊，雙方在新汲大戰，王彌軍大敗。於是整頓蒲阪的防守，回到平陽。
劉淵任命劉歡樂為太傅，劉聰為大司徒，劉延年為大司空，劉洋為大司馬，赦免境內囚犯。又立妻子單氏為皇后，兒子劉和為皇太子、劉乂為北海王。
永嘉四年（310年）七月，劉淵臥病，準備囑託後事，任命劉歡樂為太宰，劉洋為太傅，劉延年為太保，劉聰為大司馬、大單于，並且統領尚書事務，在平陽西部建造單于臺，任命其子劉裕為大司徒。
劉淵病重，召劉歡樂和劉洋等人到宮禁中接受遺詔，輔佐朝政。八月，劉淵在光極殿去世，共在位六年。劉淵死後，其子劉和繼位。
劉和繼位後，衛尉、西昌王劉銳，宗正呼延攸怨恨未能參與劉淵臨終顧命，遊說劉和說：“先帝沒有考慮輕重之計，而讓三王統領精銳的宮廷禁軍，大司馬劉聰又在近郊掌握著十萬勁旅，陛下現在就等於是寄於客位了。這樣的禍難，不可測知，希望陛下早作打算。”劉和是呼延攸的外甥，所以對他的話深信不疑。召來領軍、安昌王劉盛、安邑王劉欽、馬景等人通告他們。
劉盛說：“先帝的棺槨還沒有安葬，四王也沒有變節，一旦自相殘殺，天下會怎麼說陛下？再說大業還沒有成功，陛下不要聽信挑撥離間的小人的讒言來疑忌兄弟，兄弟尚且都不能相信，那別人誰還值得相信呢？”劉銳和呼延攸發怒道：“今天商議，沒有別的道理可講，領軍你這是什麼話！”便命令左右隨從把劉盛殺死。
馬景、劉欽害怕，只得聽從劉和的旨意一起在東堂結盟，準備攻打四王。於是，劉銳帶領馬景在單于臺攻打楚王劉聰，呼延攸帶領永安王劉安國到司徒府攻打齊王劉裕，侍中劉乘帶領安邑王劉欽攻打魯王劉隆，派尚書田密、武衛將軍劉璿攻打北海王劉乂。田密、劉璿等派人斬殺守關的衛兵投奔到劉聰處，劉聰命令穿上鎧甲等候劉銳大軍。
劉銳得知劉聰已有防備，迅速回師，與呼延攸、劉乘一起攻打劉隆、劉裕。呼延攸和劉乘懷疑劉安國、劉欽有異心，便殺了他們。當天殺死劉裕和劉隆。劉聰攻打西明門，將其攻克。劉銳等人逃進南宮，前鋒跟隨著他。劉聰在光極殿西室斬殺劉和。抓住劉銳、呼延攸、劉乘，在交通要道上斬首並懸掛起來。
劉和死後，群臣請劉聰繼位，劉聰以北海王劉乂是單皇后之子，讓位給他。劉乂堅持由劉聰繼位。劉聰最終答應，並說要在劉乂長大後將皇位讓給他。
登基後，冊立劉乂為皇太弟，改元光興，尊劉淵妻單氏為皇太后，其母張氏為帝太后，妻子呼延氏為皇后，兒子劉粲為撫軍大將軍，都督中外諸軍事。
劉聰即位後三個月，即派劉曜、王彌和其子河內王劉粲領兵進攻洛陽，與石勒於大陽會師並在澠池擊敗晉將裴邈，乃直入洛川，擄掠梁、陳、汝南、潁川之間大片土地，並攻陷百多個壁壘。
次年，又派前軍大將軍呼延晏領二萬七千人進攻洛陽，行軍至河南時就已十二度擊敗抵抗的晉軍，殺三萬多人。
後劉曜、王彌和石勒都奉命與呼延晏會合。呼延晏在劉曜等人未到時就先行進攻洛陽城，攻陷平昌門，焚燒東陽、宣陽諸門及諸府寺。
懷帝遣河南尹劉默抵禦，但被擊敗。呼延晏因為後續部隊還沒到，從東陽門撤出，又於洛水焚燬晉懷帝打算出逃用的船隻。
劉曜、王彌等人到達後就與呼延晏一起再次攻進洛陽城，攻陷宣陽門，王彌、呼延晏攻入南宮太極殿，縱兵搶掠，盡收晉宮中的宮人和珍寶，而劉曜大殺官員和宗室三萬餘人。
另外更俘擄晉懷帝和羊皇后，將他們及傳國六璽移送到平陽。 劉聰大赦，改年號嘉平，以晉懷帝為特進、左光祿大夫、平阿公。
永嘉之亂後，劉聰又因晉牙門趙染叛晉歸降而命劉曜和劉粲攻打關中，最終攻陷長安並殺南陽王司馬模， 並讓劉曜據守長安。不久，晉馮翊太守索綝、安定太守賈疋和雍州刺史曲特等反擊，劉曜兵敗，困於長安。嘉平二年（永嘉六年，312年），退出長安，撤回平陽。
晉懷帝被擄至平陽後，被劉聰任命為特進、左光祿大夫、平阿公。後來改封會稽郡公。劉聰曾與懷帝回憶昔日與王濟造訪他的往事，亦談到西晉八王之亂，宗室相殘之事。劉聰談得十分高興，更賜小劉貴人給懷帝。
嘉平二年（312年）年初，劉聰曾派靳沖和卜翊圍困晉幷州治所晉陽，但因拓跋猗盧率兵營救而失敗。不久，令狐泥因其父令狐盛被晉幷州刺史劉琨殺害而投奔漢趙，並說出晉陽虛實。
但於嘉平三年（313年）正月，劉聰在與群臣的宴會中命懷帝以青衣行酒，晉朝舊臣庾珉和王俊見此忍不住心中悲憤而號哭，令劉聰十分厭惡。當時又有人流傳庾珉等會作劉琨的內應以助他攻取平陽，於是殺害懷帝和庾珉等十多名晉朝舊臣。
晉懷帝被殺的消息於四月傳至長安後，在長安的皇太子司馬鄴便即位為帝，是為晉愍帝。劉聰則派趙染與劉曜和司隸校尉喬智明等進攻長安，多次擊敗抵抗的曲允。趙染後更乘夜攻進長安外城縱火搶掠，至天亮才因救援長安而撤出長安，但曲鑑追擊時又遭劉曜擊敗。後因劉曜輕敵而被曲允偷襲，喬智明被殺，劉曜唯有撤兵回平陽。
次年，再派劉曜與趙染出兵長安，索綝領兵抵抗，但趙染初戰於新豐城西因輕敵而敗北。不久二人與將軍殷凱再攻長安，在馮翊擊敗曲允，但當晚又被曲允夜襲殷凱軍營，殷凱戰死。
隨後，劉曜到懷縣轉攻晉河內太守郭默，但郭默固守不降。在新鄭的李矩此時還到劉琨所派的鮮卑騎兵，說服帶領他們的張肇進攻劉曜。漢趙士兵看見鮮卑騎兵不戰而走，劉聰見進攻不成，打算先消滅劉琨，故命令劉曜撤軍。
建元元年（晉建興三年，315年），劉曜在襄垣擊敗劉琨所派軍隊，並打算進攻陽曲。但此時劉聰又認為要先攻取長安，於是命劉曜撤軍回蒲阪。
劉聰命劉曜撤回蒲阪，數月之後，即派劉曜進攻北地。劉曜先破馮翊，後攻上郡。曲允領兵在靈武抵抗，但因兵少而不敢進攻。
建元二年（316年），劉曜攻取北地，後即進逼長安。雖然有多批援兵救援長安，但都因畏懼漢趙軍隊而不敢進擊。而司馬保所派將領胡嵩雖然在靈臺擊敗劉曜，但卻因不願見擊退劉曜後曲允和索綝勢力變得強大，竟然勒兵退還槐裡。
劉曜因而得以攻佔長安外城並圍困愍帝所在小城。在爆發饑荒的小城內死守兩個月後，愍帝決定出降，被送至平陽。西晉正式滅亡。
劉聰任命愍帝為光祿大夫、懷安侯，使劉粲告於太廟，大赦境內，改年麟嘉。次年出獵時，命錦愍帝穿戎服執戟作前導，晉朝故老哭泣。劉粲勸劉聰殺死愍帝，但劉聰想再作觀望。及後，命愍帝行酒、洗爵和執蓋等僕役工作，令晉朝舊臣流淚哭泣，辛賓更抱著愍帝大哭。劉聰最終殺害晉愍帝。
嘉平三年（314年）十一月，冊立劉粲為相國、大單于，總管各事務後，就將國事委託給他。自己則開始貪圖享樂，次年更設上皇后、左皇后和右皇后以封妃嬪，造成“三後並立”。後來，更立中皇后。
在委託政務給劉粲的同時，劉聰亦寵信中常侍王沈、宣懷、俞容等人，劉聰因於後宮享樂而長時間不去朝會，群臣有事都會向王沈等人報告而不是上表送呈劉聰。而王沈亦大多不報告劉聰，只以自己喜惡去議決事項。王沈等人又貶抑朝中賢良，任命奸佞小人任官。
嘉平三年（316年）二月劉聰聽信王沈等人的讒言，殺特進綦毋達、太中大夫公師彧、尚書王琰等七名宦官厭惡的官員。侍中卜乾哭著勸諫，免為庶人。
太宰劉易、御史大夫陳元達、金紫光祿大夫劉延和劉聰子大將軍劉敷都曾上表勸諫劉聰不要寵信宦官。
劉易見此又上表進諫，終令劉聰發怒，更親手毀壞劉易的諫書，劉易於是怨憤而死；陳元達見劉易之死，亦對劉聰失望，憤而自殺。
朝廷在王沈和劉粲等人把持之下綱紀全無，而且貪汙盛行，臣下只會奉承上級；對後宮妃嬪宮人的賞賜豐盛，反而在外軍隊卻資源不足。劉敷見此就曾多次勸諫，劉聰卻責罵劉敷常常在他面前哭諫，令劉敷憂憤得病，不久逝世。
因為劉聰的完全信任，王沈和劉粲等人又與靳準聯手誣稱皇太弟劉乂叛變，不但廢掉並殺害劉乂，更趁機誅除一些自己討厭的官員，又坑殺平陽城中一萬五千多名士兵。劉粲在劉乂死後被立為皇太子。
麟嘉三年（318年），劉聰患病，以太宰劉景、大司馬劉驥、太師劉顗、太傅朱紀和太保呼延晏並錄尚書事，又命範隆為守尚書令、儀同三司，靳準為大司空，二人皆決尚書奏事，以作輔政大臣。
太興元年（318年）七月十九日，劉聰去世。七月二十日，劉粲即位，尊劉聰的皇后靳氏為皇太后，樊氏稱弘道皇后，武氏稱弘德皇后，王氏稱弘孝皇后；立妻子靳氏為皇后，兒子劉元公為太子。大赦天下，改年號為漢昌。
將劉聰安葬於宣光陵，諡劉聰為昭武皇帝，廟號烈宗。靳太后等人因年齡都不到二十歲，而且長得很漂亮，劉粲在宮內日夜與她們淫亂（奇葩），對於父親劉聰的去世沒有一點的悲哀。
大司空、司隸校尉靳準懷有異志，私下對劉粲說：“好像聽說諸位公卿準備像商代伊尹、漢代霍光那樣代攝朝政，殺掉太保呼延晏和我，讓濟南王、大司馬劉驥統領萬機，陛下應當早作準備。”
劉粲不聽。靳準怕他的話最終不被採納，就對皇太后靳氏和皇后靳氏二人說，公卿們想要廢掉劉粲，擁立劉驥為帝，恐怕我們靳氏家族要絕種。讓靳氏二人勸說劉粲誅殺他們。
劉粲於是收捕太宰、上洛王劉景，太師、昌國公劉顗，大司馬、濟南王劉驥，大司徒、齊王劉勱，將他們全部處死。太傅朱紀、太尉範隆逃奔長安。
太興元年（318年）八月，劉粲在上林練兵，準備征討石勒。任命丞相劉曜為相國，總督內外軍事事宜，仍然鎮守長安。任命靳準為大將軍，領尚書事。劉粲沉湎酒色，經常在後宮遊樂，軍國大事全都由靳準決斷。靳准假稱劉粲的詔令，讓堂弟靳明擔任車騎將軍，靳康擔任衛將軍。
不久，靳准將要發動叛亂，因金紫光祿大夫王延（《晉書》作王延年）年齡大而德高望重，便與他商議。 王延不肯依從，馳馬準備向劉粲告發靳準的陰謀，路上遇見靳康，被劫持回來。
靳準便領兵登上光極殿，派士兵抓住劉粲，數落劉粲的罪名後將他殺害，並給劉粲上諡號為隱皇帝。 靳准將劉氏皇族男女老幼全部斬殺於東市。
又挖掘劉淵和劉聰的陵墓，斬斷劉聰屍身，焚燬劉氏宗廟。 太興二年（319年），靳準被其部下所殺。
319年，劉曜（劉淵從子）稱帝，追尊劉淵等歷代祖先為帝。遷都長安，修建光世殿和紫光殿。
立妻羊氏為皇后，兒子劉熙為皇太子，其餘諸子與宗室都封王。修繕宗廟、社稷、南北郊。以水德承接晉的金德，改國號為趙。崇尚黑色，冒頓配天，劉淵配上帝，大赦境內除了犯有重罪之人。
當時，關中、隴右一帶有很多氐、羌等少數族人未予歸化，常同西晉殘餘聯合進攻劉曜，給劉曜政權造成嚴重威脅。
大興三年（ 320年），劉曜部下長水校尉尹車，連結巴氐酋長徐庫彭反叛，劉曜先殺尹車，又囚徐庫彭等5000人，準備全部殺死。光祿大夫遊子遠叩頭固諫請求放免，劉曜不聽，硬是將其全部斬首。
這一舉動，引起了巴、氐人民的強烈義憤，奮起反抗，共推巴、氐歸善王句渠知為領袖，舉行起義。一時，羌、氐、巴、羯三萬餘人，盡皆響應，關中大亂，局勢非常緊張。
劉曜只得採用遊子遠的安撫政策，以遊子遠為車騎大將軍，都督雍秦征討諸軍事。遊子遠屯軍於雍城，降者十餘萬，遂進軍安定，反者皆降。
只有句渠知宗黨五千餘家於陰密固守，遊子遠發動攻擊，殲滅了句氏宗族；隨後引兵隴右，陳安在郊外迎接遊子遠。
此前，在上郡的氐、羌十餘萬人，佔據險要地勢不肯投降，他們的首領虛除權渠自號為秦王。遊子遠於是進兵至虛除權渠的堡壘下，權渠率軍迎戰，五戰皆敗。權渠欲降，其子伊餘反對，並率五萬精兵在清晨進攻遊子遠軍營。
遊子遠的將領請纓出戰，遊子遠認為伊餘軍隊士氣正盛，應避之鋒芒。於是堅守不出。而伊餘驕傲自大，軍營不設防備。遊子遠趁夜偷襲，大敗伊餘。權渠知道後大懼，以羌族風俗披髮割面而降。
最後遊子遠基本上平定了這次叛亂，拜虛除權渠為徵西將軍、西戎公，分徙伊餘兄弟及其部落二十餘萬於長安。在西邊的氐、羌等少數民族中，虛除權渠實力最強，至是莫不歸附，西邊遂平。
劉曜親征氐羌，楊難敵迎戰不勝，退保仇池。仇池諸氐、羌等皆歸降劉曜。劉曜後復西討楊韜於南安，楊韜懼，與隴西太守梁勳等降於劉曜，皆封列侯。 劉曜使侍中喬豫率甲士五千，遷徙楊韜等及隴右萬餘戶於長安。
劉曜繼續進攻仇池。當時劉曜患病， 軍中又有瘟疫，劉曜想班師，但又擔心楊難敵跟蹤追擊，於是劉曜以其尚書郎王獷為光國中郎將，出使仇池， 勸說楊難敵，楊難敵於是遣使稱籓。
劉曜大悅，署楊難敵為使持節、侍中、假黃鉞、都督益寧南秦涼梁巴六州隴上西域諸軍事、上大將軍、益寧南秦三州牧、領護南氐校尉、 寧羌中郎將、武都王，子弟為公侯列將二千石者十五人。
當初陳安請求朝見劉曜，劉曜因為患病沒有允許。陳安怒，又以為劉曜已經死了，於是大掠而歸。
太寧元年，陳安攻劉曜的徵西將軍劉貢於南安，休屠王石武自桑城將攻上邽，以解南安之圍。陳安聞之驚懼，馳歸上邽，與石武在瓜田相遇。石武以眾寡不敵，奔保張春故壘。
陳安引軍追擊石武，石武閉壘固守。劉貢擊敗陳安後軍，俘斬萬餘。陳安馳還赴救，劉貢擊敗陳安。此時石武騎兵大舉進攻，陳安軍大潰，陳安收攏八千騎兵，奔向隴城。劉貢留下石武督後軍，身先士卒，又擊敗陳安，於是包圍陳安於隴城。
劉曜親征陳安，圍陳安於隴城。陳安頻出挑戰，累擊敗之，斬獲八千餘級。右軍劉幹攻平襄，克之，隴上諸縣悉降。陳安留下楊伯支、姜衝兒等守隴城，帥騎兵數百突圍而出，打算引導上邽、平襄的兵眾來解隴城之圍。
陳安出城後，得知上邽被圍，平襄已敗，於是南走陝中。劉曜派其將軍平先、丘中伯率勁騎追擊陳安，多次交戰擊敗陳安，俘斬四百餘級。陳安與壯士十餘騎於陝中格戰，陳安左手奮七尺大刀， 右手執丈八蛇矛，近交則刀矛俱發，殺傷五、六人；遠則雙帶鞬服，左右馳射而走。平先亦壯健絕人，勇捷如飛，與陳安搏戰，三個回合，平先奪取了陳安的蛇矛而退。
天黑了，又下大雨，陳安棄馬，與左右五、六人步行跨過山嶺，藏匿於溪澗。翌日趙軍尋之，找不到陳安的蹤跡。此時大雨漸漸停息，輔威將軍呼延清發現了陳安的蹤跡，在澗曲斬殺陳安。
接著，劉曜開始大舉用兵涼州張氏政權，張氏政權的奠基者是安定烏氏（今甘肅平涼西北）人張軌，張軌是西漢常山王張耳第十七代孫，世以儒學著稱。
西晉永寧年間，任涼州刺史、護羌校尉。洛陽陷落後，晉愍帝都長安封張軌為涼州牧；張軌死後，由張寔、張茂繼立。
劉曜出兵涼州時，張茂正為涼州刺史。劉曜大軍長驅進入西河，戎卒二十萬五千，臨河到營，百餘里中，鐘鼓之聲，沸河動地，“自古軍旅之盛，未有斯比。”涼州為之震怖，張茂遂以牛羊、金銀、女妓、珍寶、珠玉及涼州特產貢獻劉曜向其稱藩，劉曜署張茂為西域大都護、涼王等職，旋即班師。
劉曜在短時期內征服了關、隴，但正如荀子所說：兼併易而堅凝難。在劉曜統治關隴期間，雖然也起用了一些有學識的漢人作官，也在長安開辦學校，造經學之士以教之，但他始終沒有一套成型的治國安民的政治措施。
劉曜初入關中時對部下的規諫還聽得進去，如他命起陵宵臺，在霸陵西南建壽陵時，侍中喬豫、和苞上疏進諫，劉曜聽了大喜說：“侍中懇懇有古人風烈矣，可謂社稷之臣也。”遂罷其工程。但平定巴、氐叛亂不久，就開始對大臣們的進諫聽不進去了。陳安之亂未平，劉曜就為其父母建永垣陵、顯平陵，功費至億，遊子遠進言停建，但他不聽。
東晉太寧元年（324年），後趙對前趙發起全面攻勢。次年（325年），後趙石勒派石他出上郡攻打依附於前趙的北羌王盆句除，俘虜三千多部，牛羊等兩萬多隻。
劉曜大怒揮袖而起，當日進軍到渭城，急令劉嶽追擊石他。劉曜進到富平，作為劉嶽的聲援。劉嶽與石他交戰於河濱，後趙被斬一千五百多人，五千多人掉入黃河淹死，主將石他當場殞命。石他所獲戰利品全部為劉嶽所得，前趙振旅而歸。
同年，後趙石生進攻前趙河南太守尹平於新安（今河南新安），尹平戰敗被斬，石生掠前趙5000人而還。
太寧三年（ 326年），前趙劉曜聯合東晉司州刺史李矩、潁川太守郭默進攻石生，劉曜派劉嶽在洛陽進攻石生，配給劉嶽甲士五千，宿衛精兵一萬，從盟津渡河。鎮東將軍呼延謨率領荊州、司州之兵從崤澠向東進發。劉嶽攻克石勒的盟津、石樑，斬獲五千餘級，進一步包圍石生於金墉。
石虎率領四萬步騎兵從皋關入關，劉嶽陳兵列陣以待石虎。劉嶽與石虎兩軍戰於洛西，劉嶽戰敗，劉嶽身中流矢，退守石樑。石虎於是挖壕溝、樹立柵欄圍困，斷絕劉嶽與外界的交通。劉嶽軍沒有吃的，殺馬吃掉。石虎又打敗呼延謨，斬殺了呼延謨。劉曜親自率軍援救劉嶽，石虎率領三萬騎兵抵擋劉曜。
劉曜前軍劉黑在八特坂大敗石虎的部將石聰。劉耀來到金谷，晚上劉曜軍無故大驚，士兵都潰散，於是退守澠池。晚上劉曜軍中又大驚，兵士逃散，於是劉曜只好回長安。石虎抓捕了劉嶽及其部將王騰等八十多人，還有氐羌三千餘人，都押送到襄國，坑殺士兵一萬六千人。劉曜到了澠池，穿素服哭祭，七天後才入城。而郭默南奔建康，李矩部下率眾二千投降後趙。自此，司、豫、徐、兗等州皆為後趙所有。
咸和三年（ 328年）後趙石勒派石虎率兵四萬自軹關（今河南濟源西北）西上蒲阪（今山西永濟縣）攻打劉曜，劉曜自率精銳馳救蒲阪，但劉曜擔心張駿、楊難敵承虛攻擊長安，於是派遣河間王劉述調發氐羌部眾駐紮在秦州。劉曜盡發精銳迎戰石虎，從衛關北渡。
石虎害怕，率軍撤退，劉耀追擊，兩軍戰於高侯（今山西聞喜縣境），石虎大敗，其部將石瞻被殺，後趙軍陳屍200餘里（誇張），前趙軍繳獲後趙軍物資數以億計。石虎南奔朝歌（今河南淇縣）。
劉曜自大陽（今山西平陸西南）渡河，乘勝進軍追擊石生於金墉（今河南洛陽以來），決千金堨（在今河南洛陽以北）以灌城，洛陽為之震動。
同年十一月，石勒發兵三路進攻劉曜。十二月，石勒後趙諸軍集結於成皋，不見劉曜設防，軍隊迅速開至洛河。
劉曜忙陳兵十萬於洛西，南北十餘里。劉曜從小喜歡喝酒，到了後來喝酒更甚。石勒到達，劉曜準備出戰時，喝酒數鬥，經常騎的馬無故跌倒，於是換騎小馬。等到出戰時，喝酒鬥餘，把手西陽門。
石勒遂命石虎引兵自洛陽城北而西攻劉曜中軍，命石堪率兵自城西而北，由劉曜前鋒，石勒自出洛陽閶闔門，夾擊劉曜，前趙軍隊大潰。劉曜在退兵時馬陷石渠墜於冰上，身上被創十餘處，其中貫穿傷有三處，被石堪生俘，被押送到石勒處。
石勒大獲全勝，斬首五萬餘級。石勒讓劉曜寫信令其子劉熙投降。劉曜給劉熙的信中卻令熙“與大臣匡維社稷，勿以吾易意也。”石勒遂殺劉曜
公元329年（光初十二年）正月，劉熙聽說父親劉曜被擒，大為恐懼，與兄南陽王劉胤商議，準備向西保守秦州。
尚書胡勳說：“如今雖然喪失君王，但國土仍然完整，將士也未叛離，暫且應當集中力量抵禦敵軍。力有不支時再逃也不晚。”劉胤發怒，認為這是擾亂人心，將他斬首，隨後率領文武百官逃奔上邽。各地方官員也都放棄自己鎮守的地方跟從，關中大亂。
將軍蔣英、辛恕擁有士眾數十萬人據守長安，派使者向後趙請降，後趙派石生率領在洛陽的士眾前往長安。
同年八月，南陽王劉胤率數萬士眾由上邽奔赴長安，隴東、武都、安定、新平、北地、扶風、始平各郡的胡人、漢人都起兵應從。劉胤屯軍於仲橋，石生環城自守，後趙令中山公石虎率騎兵二萬人救援。
九月，石虎在義渠大敗前趙軍隊，劉胤逃歸上邽。石虎乘勝追擊，屍體枕籍千里。上邽被攻破，石虎擒獲劉熙、劉胤及其將軍、郡王、公卿、校尉以下三千多人，全數殺害。將前趙朝廷的文武官員、關東流民、秦州和雍州的大族九千多人遷徙到襄國，又在洛陽坑殺五郡的屠各部人眾五千多。 前趙自此滅亡。
閱讀更多 屁香屁香的史料館 的文章
