人們往往更喜歡演藝中風風火火的隋唐英雄們，而忽視了李淵這樣深藏不露的低調英雄。
李淵最初是以鎮壓造反者的正面形象出現在隋史中的，他一開始對各地的起義是咬牙切齒，積極參與謀劃鎮壓方略。原因很簡單，因為各地洶湧的農民造反者們逐漸動搖了隋朝的統治，直接威脅著李淵這個貴族利益者的權益。
公元617年，劉武周因與太守王仁恭的侍女私通，就先下手為強，以貪汙的罪名殺死了王仁恭，然後自稱天子。這時的李淵正在太原擔任留守，他以討伐劉武周為名，招兵買馬，十餘天就聚集了超過一萬人的軍隊。但李淵卻並不出兵攻擊劉武周，還秘密派人召回在河東的長子李建成和三子李元吉。
很顯然，此時的李淵內心已經起了不臣之心。
實際上，李淵並不是那種保守頑固、對隋朝愚忠的人。隋朝的統治被動搖後，李淵覺得自己沒有必要始終坐在隋朝這條船裡隨著王朝一起覆滅了，這很符合貴族階級的利益思想，因為對於他們來說，誰當政都無所謂，最重要的是家族利益。李淵長期在與起義軍作戰的第一線，非常清楚造反者已經遍佈全國，隋朝的滅亡是遲早的事情，李淵不得不為自己的前途考慮。
在最開始，李淵效忠隋王朝是因為可以從中獲得權益，當這個利益無法獲取，李淵就要留意自己的出路了。早在李淵出鎮太原的時候，就對李世民說∶"唐固吾國，太原即其地焉。"隱約透露出割地自守，稱霸一方的意思。隨著隋朝形勢的日益惡化，李淵造反的念頭從出現到深入發展。之前的招兵自肥就是壯大自己實力的表現。
李淵的二兒子李世民在李淵造反思想的發展和造反實踐過程中，起到了推波助瀾的作用。李世民敏銳地預料到隋朝國運將盡，充分利用父親主政太原的有利時機，積極為反隋爭霸進行活動。李世民一邊聯絡晉陽縣令劉文靜、晉陽宮副監裴寂奔走謀劃；一邊積極招兵買馬，準備起事反隋。正史記載他為後來的晉陽起兵做好了充分的準備。不過，唐初的歷史被人為修改刪定過。按照正史記載，是李世民最終勸李淵下定了起兵太原的決心。
當時，太原副留守王威和高君雅是隋煬帝的親信，他倆發現李淵最近的行動十分反常，有造反的意圖。就決定先下手除掉李淵，但保密工作沒有做好，晉陽鄉長劉世龍知道了兩人的陰謀，就告訴了李淵。
此時，就算李淵不想造反也不行了。
公元617年5月15日，李淵召王威、高君雅議事。劉文靜就領著開陽府司馬劉會政前來，狀告兩位副留守勾結突厥，李淵直接藉機將二人拿下，當天就直接斬首。當時，太原城外經常出現小股的突厥騎兵。李淵找的理由可以說是十分自然，讓人挑不出毛病。
除去兩個礙手礙腳的奸細後，李淵開始明目張膽地準備起兵。617年7月，李淵率軍三萬在太原誓師，正式起兵。這個時候，封建社會的貴族與農民階級的區別就凸顯出來了，李淵發佈了興兵檄文，宣稱自己只是替天行道，廢昏立明，這樣的聲明為李淵減輕了許多政治阻力。
客觀地說，李淵的成功完全是別人送給他的。當時最強大的起義勢力，李密的瓦崗軍正在洛陽與王世充軍激戰，這讓隋朝的關中地區兵力空虛。而河東的隋軍為了抵禦河北的起義軍，也不敢西進去阻攔李淵軍隊。這就導致李淵的部隊遇到了極少的阻礙，輕鬆的打到了長安。
公元618年，隋煬帝楊廣在揚州被殺。楊廣的死給李淵勢力帶來了不大不小的震動。隋煬帝死後，楊侑做皇帝對抗隋煬帝法統的作用降低了；但另一方面，楊侑又名正言順地成了天下的君主。只是現在，他姓之人也可以稱帝號令天下。
於是，5月20日，李淵正式登基稱帝。因為李淵封爵是唐王，新的王朝定國號為"唐"，仍然定都長安。
不過，這時候的唐王朝僅僅是一個偏居關中的政權。當時天下的大部都被農民起義軍佔領。最強大的瓦崗軍在唐朝建立前後一直在洛陽東邊與王世充激戰。結果李密活生生地把自己的實力都拖了進去，喪失了寶貴的發展機遇。後來，宇文化及率軍北上，李密的瓦崗軍處境就很危險了。李密在這種時刻投向了王世充，與宇文化及作戰。宇文化及被打敗了，瓦崗軍也徹底拖垮了。李密又只好向西投降了李淵，後來李密又想東山再起，事敗後瓦崗軍的餘部都融入了唐朝軍隊中。
洛陽的王世充在瓦崗軍失敗後，也過起了皇帝癮。唐朝大軍在平定西北後緊跟著討伐王世充，王世充打不過，向竇建德求援，竇建德親自率兵十萬救援王世充，在虎牢關被唐軍打敗，竇建德被俘遇害。王世充勢力隨即失敗。而河北農民起義軍餘部在劉黑闥的統率下繼續對抗唐朝。武德六年，劉黑闥遭部將出賣，被唐軍殺害，餘部被消滅。
而江淮地區的杜伏威在宇文化及殺煬帝於江都的時候，沒有抓住時機向東南的隋朝殘餘發起進攻。他先是莫名其妙地向洛陽的隋朝殘餘上表稱臣，後來又遣使長安向李淵投降。這讓他的部下百思不得其解，李淵對杜伏威也很好，任命他為淮南安撫大使、和州總管，封楚王，讓他主宰東南半壁軍事。
杜伏威打著唐朝的旗號，幫助李淵平定了東南各地，自己也成為江淮一帶最大的勢力。但唐朝不會坐視這樣一股勢力存在，在平定河北之後，唐軍向江準地區移動，威脅杜伏威入朝。杜伏威不得不前往長安朝見李淵。這一去，杜伏威就失去了實權。杜伏威走後，部下輔公祐於武德六年在丹陽稱帝，建立宋國。唐王朝水陸俱進，分南、西、北三面進攻輔公祐。不到半年，輔公祐兵敗被殺。宋國滅亡，唐朝真正統一了中國。
可以說，從頭到尾，農民起義軍是李淵最大的幫手。沒有農民起義軍動搖隋朝統治根基，沒有農民起義軍目光短淺、相互殘殺，李淵這個前朝的貴族是沒有機會觸摸龍椅的。
