太元元年，孝武帝司馬矅開始親政，謝安升中書監、錄尚書事，總攬朝政，陳郡謝氏成為東晉的最後一個"當軸士族"。同年，苻堅統一了中國北方，前秦與東晉的戰爭已經臨近。當時的東晉，長江上游由桓氏掌握，下游則屬於謝氏當政，謝安盡力調和桓謝兩大家族關係，以為即將爆發的戰爭作準備。
太元三年四月，前秦徵南大將軍苻丕率步騎7萬人進攻襄陽。苻堅又另派10萬多人，分三路合圍襄陽，總計投入兵力17萬。襄陽守將朱序死守近一年後，於太元四年二月城破被俘。苻堅又派彭超圍攻彭城，秦晉淮南之戰爆發。謝安在建康佈防，又令謝玄率5萬北府兵，自廣陵起兵應敵。謝玄四戰四勝，全殲秦軍。
太元八年八月，苻堅親率步兵60萬、騎兵27萬、羽林郎(禁衛軍)3萬，共90萬大軍從長安南下，同時，苻堅又命梓潼太守裴元略率水師7萬從巴蜀順流東下，向建康進軍。近百萬行軍隊伍"前後千里，旗鼓相望。東西萬里，水陸齊進。"苻堅驕狂地宣稱:"以吾之眾旅，投鞭於江，足斷其流。"
東晉王朝在強敵壓境，面臨生死存亡的危急關頭，以丞相謝安為首的主戰派決意奮起抵禦。經謝安舉薦，晉帝任命謝安之弟謝石為征討大都督，謝安之侄謝玄為先鋒，率領經過7年訓練，有較強戰鬥力的"北府兵"8萬沿淮河西上，迎擊秦軍主力。派胡彬率領水軍5千增援戰略要地壽陽。又任命桓衝為江州刺史，率10萬晉軍控制長江中游，阻止秦巴蜀軍順江東下。
太元八年十月十八日，苻堅之弟苻融率秦前鋒部隊攻佔了壽陽，俘虜晉軍守將徐元喜。與此同時，秦軍慕容垂部攻佔了鄖城。奉命率水軍馳援壽陽的胡彬在半路上得知壽陽已被苻融攻破，便退守硤石(今安徽鳳台西南)，等待與謝石、謝玄的大軍會合。苻融又率軍攻打硤石。苻融部將梁成率兵5萬進攻洛澗，截斷淮河交通，阻斷了胡彬的退路。胡彬困守硤石，糧草用盡，難以支撐，寫信向謝石告急，但送信的晉兵被秦兵捉住，此信落在苻融手裡。苻融立刻向苻堅報告了晉軍兵少，糧草缺乏的情況，建議迅速起兵，以防晉軍逃遁。苻堅得報，把大軍留在項城，親率8千騎兵疾趨壽陽。
苻堅一到壽陽，立即派原東晉襄陽守將朱序到晉軍大營去勸降。朱序到晉營後，不但沒有勸降，反而向謝石提供了秦軍的情況。他說:"秦軍雖有百萬之眾，但還在進軍中，如果兵力集中起來，晉軍將難以抵禦。現在情況不同，應趁秦軍沒能全部抵達的時機，迅速發動進攻，只要能擊敗其前鋒部隊，挫其銳氣，就能擊破秦百萬大軍。"謝石起初認為秦軍兵強大，打算堅守不戰，待敵疲憊再伺機反攻。聽了朱序的話後，認為很有道理，便改變了作戰方針，決定轉守為攻，主動出擊。
十一月，謝玄派譴勇將劉牢之率精兵5千奔襲洛澗，揭開了淝水大戰的序幕。秦將梁成率部5萬在洛澗邊上列陣迎擊。劉牢之分兵一部迂迴到秦軍陣後，斷其歸路;自己率兵強渡洛水，猛攻秦軍。秦軍驚慌失措，勉強抵擋一陣，就土崩瓦解，主將梁成和其弟梁雲戰死，官兵爭先恐後渡過淮河逃命，1.5萬餘人喪生。洛澗大捷，極大鼓舞了晉軍的士氣。
由於秦軍緊逼淝水西岸佈陣，晉軍無法渡河，只能隔岸對峙。謝玄就派使者去見苻融，用激將法對他說:"君懸軍深入，而置陣逼水，此乃持久之計，非欲速戰者也。若移陣少卻，使晉兵得渡，以決勝負，不亦善乎?"秦軍諸將都表示反對，但苻堅認為可以將計就計，讓軍隊稍向後退，待晉軍半渡過河時，再以騎兵衝殺，這樣就可以取得勝利。苻融對苻堅的計劃也表示贊同
於是就答應了謝玄的要求，指揮秦軍後撤。但秦兵士氣低落，結果一後撤就失去控制，陣勢大亂。謝玄率領8千多騎兵，趁勢搶渡淝水，向秦軍猛攻。朱序則在秦軍陣後大叫:"秦兵敗矣!秦兵敗矣!"秦兵信以為真，於是轉身競相奔逃。苻融眼見大勢不妙，急忙騎馬前去阻止，以圖穩住陣腳，不料戰馬被亂兵衝倒，被晉軍追兵殺死。失去主將的秦兵越發混亂，徹底崩潰。前鋒的潰敗，引起後續部隊的驚恐，也隨之潰逃，形成連鎖反應，結果全軍潰逃，向北敗退。秦軍潰兵沿途不敢停留，聽到風聲鶴唳，都以為是晉軍追來。晉軍乘勝追擊，一直到達壽陽附近的青岡。秦兵人馬相踏而死的，滿山遍野，充塞大河。苻堅本人也中箭負傷，逃回至洛陽時僅剩10餘萬。
晉軍收復壽陽，謝石和謝玄派飛馬往建康報捷。當時謝安正跟客人在家下棋。他看完了謝石送來的捷報，不露聲色，隨手把捷報放在旁邊，照樣下棋。客人知道是前方送來的戰報，忍不住問謝安:"戰況怎樣?"謝安慢吞吞地說:"孩子們到底把秦人打敗了。"("小兒輩已破賊!")客人聽了，高興得不想再下棋，想趕快把這個好消息告訴別人，就告別走了。謝安送走客人，回到內宅去，他的興奮心情再也按捺不住，跨過門檻的時候，踉踉蹌蹌的，把腳上的木屐的齒也碰斷了。這是著名的典故"折屐齒"的來歷。
