晉愍帝建興元年（公元313年）四月二十七日，晉愍帝司馬業即位以後，即面臨著漢國的攻打和追殺，因此，向左丞相、大都督、都督陝東諸軍事的司馬睿發出詔令，令其率兵北伐救駕。
司馬睿
可是，司馬睿正在開拓江南，根本無意北伐。當時，住在京口（江蘇鎮江）擔任司馬睿軍諮祭酒的祖逖，年輕時的遠大抱負一直沒有得到施展，於是，就找機會向司馬睿進言：“晉朝的變亂，並不是因為君主無道使得臣下怨恨叛亂，而是藩王爭權，自相殘殺，這樣就使夷狄之人鑽了空子，禍害遍及中原。現在北方地區的百姓遭到蹂躪傷害後，都想奮起反擊。大王如能派遣將領出徵北伐，讓我這樣的人等統領軍隊來光復中原，各地的英雄豪傑必定會望風響應！”
司馬睿雖不願北伐，卻也不便公開反對，於是便任命祖逖為奮威將軍、豫州刺史，令其北伐。但僅僅撥給他千人糧餉、三千匹布，不供給兵器。
即使是這樣，祖逖仍然滿腔熱情地帶領自己私家的軍隊一百多戶人家，從京口渡過長江北上。在大江之中時，祖逖用力拍擊船楫，立誓要掃清中原。
祖逖渡江後，駐紮在淮陰，起爐冶鐵，鑄造兵器，又招募到士兵二千多人，繼續北上。晉元帝建武元年(317年)，祖逖進駐蘆洲（安徽亳州）。
當時，譙城（安徽亳州譙城區）一帶流民張平、樊雅各自聚集數千人，自任塢主。祖逖經過勸說、率部追討，降服樊雅，殺掉張平，佔據太丘（河南永城西北），平定譙城。
祖逖攻佔譙城後，晉元帝建武元年（公元317年），漢國大都督、都督陝東諸軍事、驃騎大將軍、東單于石勒派遣石虎，緊接著就來圍困譙城，後在晉國援兵趕到之際，石虎解圍而去。
六月，司馬睿傳佈檄文，將琅琊王司馬裒所率領的九軍、三萬士卒統歸祖逖指揮。祖逖終於站住了腳跟，決心渡過黃河北伐收復失去的領土。
晉元帝太興二年(公元319年)，祖逖出兵蓬關（河南開封南），征討蓬陂塢主陳川，石勒派遣石虎率五萬大軍救援，兩軍在浚儀（河南開封境內）交戰，結果祖逖兵敗，退守駐屯梁國。石虎又派桃豹率兵到達蓬關，祖逖退守淮南。石虎帶著陳川部眾五千人遷徙到襄國，留下部將桃豹守衛陳川故城。
晉元帝太興三年(公元320年)，祖逖攻打桃豹，派部將韓潛鎮守陳川故城東臺，桃豹被迫退據西臺。兩軍對峙四十餘日後，祖逖以兵糧充足設計，挫傷桃豹士氣。祖逖又在汴水設伏，奪取石勒派人運給桃豹的軍糧。此時，桃豹的士兵捱餓已經有很長時間，無奈退守東燕城（河南延津）。祖逖命韓潛進佔封丘，自己則進屯雍丘(河南杞縣)，使得戰線進一步向北擴大，進逼黃河，石勒在河南的力量迅速萎縮。
七月，司馬睿下詔，擢升祖逖為鎮西將軍。從此，祖逖訓練士兵，積蓄糧食，為收復黃河以北的失地做準備。
石勒
石勒見祖逖勢力強盛，很是憂慮，下令讓幽州守吏為祖逖修葺祖父和父親的陵墓，並安置兩戶人家看守墳冢。石勒又寫信給祖逖，請求互通史節和開放貿易。祖逖雖未回信，卻任憑雙方互市，為此收利十倍，兵馬日益強壯。後來，祖逖部將童建叛逃，石勒將其斬殺送回首級，向祖逖示好。祖逖甚為感動，也不接受對方叛降。從此，兩國邊境之間逐漸得以休養生息。
晉元帝太興四年(公元321年)七月十七日，司馬睿任命尚書卜射戴淵為徵西將軍，都督司、兗、豫、並、雍、冀六州諸軍事，司州刺史，鎮守合肥。
這一任命，對祖逖構成極大的打擊。
祖逖認為戴淵雖有才望，但是沒有遠見卓識，而河南失地是自己披荊斬棘收復的，卻突然被戴淵從從容容，坐享其成，心中怏怏不樂。不久，祖逖又擔心朝廷內部矛盾日益尖銳，怕內亂爆發，北伐難成，以致憂憤成疾。九月，死於雍丘。
祖逖死後，豫州百姓如喪父母，譙地和梁地的人們還為他修建祠堂。而石勒大軍趁機入侵河南，祖逖收復的河南大片土地又被攻陷。
閱讀更多 舞劍圍棋 的文章
