1811年12月26日，一個叫寬一的小男孩出生於湖南省湘鄉縣白楊坪村的一個小地主家庭，他就是曾國藩。
曾國藩出生的時候，曾氏家族的經濟水平至少已經達到小康甚至中產級別。
他的父親曾麟書則是一個愚笨的鄉下教書先生，考了十六次，直到四十三歲那年，才考取了秀才，僅比兒子曾國藩早一年得到這個初級功名。在曾國藩成長的過程中，祖父曾玉屏對其影響最大。曾玉屏是一個強悍威嚴，有經營頭腦的鄉下財主，年少時曾是遠近聞名的紈絝子弟，成家之後才浪子回頭，轉變為一個威嚴而有責任感的人。在曾國藩的印象裡，祖父一直有著威儀的氣度，言論雄偉而堅定，性格也相當倔強。相比之下，父親則一直文質彬彬，沒有祖父這樣的行事魄力。
和我們現在的小孩一樣，曾國藩也是6歲上學。他在7歲那一年轉入父親執教的私塾裡讀書。在父親的嚴格教育下，紮實地完成了封建倫理基礎知識的學習。附近的人都知道，曾國藩8歲能讀八股文誦五經，14歲時已能讀《周禮》、《史記》文選，是個勤奮好學的少年。
14歲那年，父親好友歐陽凝祉到家塾中訪友，對曾國藩的詩文大加讚賞。直覺告訴他，眼前的這位少年是個不可多得的人才，將來肯定能成大氣，就將女兒許配給了曾國藩。
曾國藩的少年時代就是在這樣一種生活舒適，無憂無慮的鄉村環境下度過的。直到20歲那年(1830年)，曾父感覺到自己的學識有限，為了讓兒子有更好的發展，早點考取功名，決定讓兒子外出求學。
曾國藩外出求學的第一站是衡陽的唐氏私塾，這時，他的名字叫子城。接著又去湘鄉縣的漣濱書院求學，學習不到一年，曾國藩的學業已有了很大長進。1833年，曾國藩參加了縣試，中了秀才，並與歐陽凝祉之女成婚，完成了人生大事，這一年他23歲。
第二年，曾國藩來到湖南省的最高學府——嶽麓書院學習，師從書院山長歐陽厚均。歐陽厚均進士出身，曾任郎中、御史等職，42歲時因為照顧年邁的母親，回到湖南，主講嶽麓書院二十七年，弟子中成名的就有三千多人。在嶽麓書院期間，曾國藩表現出的聰穎和苦學，深得歐陽山長的喜愛。也正是在這裡，他開始比較系統地受到封建思想的教育和湖南學風的薰陶，這對他今後思想的形成和發展產生了很大影響。不久，他又考取了湖南鄉試舉人，功名之路似乎出人意料地順暢。
1834年年底，曾國藩動身去北京，去參加來年的會試。經過長途跋涉，終於到達紫禁城——這個他心裡幻想過一千次一萬次的神聖之地，年輕的心激動不已。他心裡暗暗發誓，一定要考進來，實現自己的理想和抱負。
但是，誰都不可能永遠走在坦途上，曾國藩也是。第二年，他參加了兩次會考，都名落孫山，這讓躊躇滿志的他非常沮喪，只好遺憾地踏上了回鄉的路。不過沒過多久，這個障礙他還是成功地攀越過去了。
三年之後，他再次參加會試，考取了第三十八名貢士，當時主持會試的正總裁是大學士穆彰阿——一個難得的滿族大儒，也就在這一年，開始了他們的師生之誼。有一天，穆彰阿突然對他說，子城這個名字太過俗氣，還是改名為國藩的好，就是做國之藩籬，成為國家棟梁的意思。就這樣，當年的曾子城就這樣改名成了曾國藩。
同一年，28歲的曾國藩考中進士，進入翰林院，成為軍機大臣穆彰阿的得意門生。在這次殿試中，曾國藩只取得三甲第四十二名，雖然同進士出身，但還不是真正的進士。對這個成績，曾國藩不甚滿意，所以非常重視接下來由皇帝親自主持的朝考。這一次他出色地展現了自己的實力，取得一等第三名的好成績。而道光皇帝又非常喜歡曾國藩的文章，乾脆將他提為一等第二名，改庶吉士，入翰林院檢討。機會總是留給有準備的人，這一次曾國藩準備得相當充分。
在京為官十多年間，曾國藩先後任翰林院庶吉士，累遷侍讀，侍講學士，文淵閣值閣事，內閣學士，稽察中書科事務，禮部侍郎及署兵部、工部、刑部、吏部侍郎等職。十年七遷，連躍十級，從七品一躍而為二品大員，上升如此迅速，這在當時是罕見的，更何況是對於他這樣一個生於農村、出於寒門的人。這自然與他自身的學識修養是分不開的，但是，穆彰阿的舉薦和扶植無疑也是他仕途的加速劑。
鴉片戰爭打得不可開交的時候，曾國藩正痴迷於研究宋明理學。書生氣未脫的曾國藩和其他官員一樣，對這場外國人發動的侵略戰爭估計不足，總覺得不那麼嚴重。
1841年7月的一天，曾國藩在京城琉璃廠買下了一套全本的《朱子全書》。仔細閱讀之後，發現理學竟如此博大精深，以前用來應付考試的知識在理學面前，顯得多麼的微不足道啊。程朱理學在很多方面涉及到對天地人的探尋，有著諸多哲學上的思辨，這些都讓他感興趣。從此，曾國藩真正開始了治學之道。這段時間，曾國藩非常認真地治學。為了弄清治學門徑，他還特地就檢身和讀書向理學大師唐鑑登門求教。唐鑑也是湖南人，大讚曾國藩的好學。他說：“控制社會秩序的力量不是來自於信仰，而是來自於自我道德的約束；至於讀書，應當以《朱子全集》為宗，熟讀這本書並掌握其核心思想，並且要身體力行，而在這個過程當中，修身是讀書的根本，其最好的辦法就是記日記……”這些話，讓曾國藩茅塞頓開。從此之後，曾國藩一直每天堅持寫日記，一寫就是一輩子。
對理學的鑽研引導曾國藩進行了一系列形而上的思考。此後，曾國藩嚴格按照理學家的模式進行修身養性，而達到“知行合一”的境界，還是從認識倭仁開始。曾國藩在唐鑑的推薦下，認識了倭仁——另一位有名的理學大師。在日常生活中，倭仁對自己的要求比唐鑑更高。從倭仁身上，曾國藩找到了與自己共同的東西，也養成了對自己嚴格要求的習慣。理學對於人格的修煉，使得曾國藩無論是做學問，還是為人處世，都成熟了很多。
後來，曾國藩在桐城派姚鼐所提出的義理、考據、辭章三條傳統的治學內容上，又增加了“經濟”這一條。他認為，這四種學問缺一不可，而且“經濟”更為重要。所謂“經濟”，就是經世濟民的學問，就是學要有所用，對於社會，要能派得上用場。曾國藩更清晰地明白“修身齊家治國平天下”的真正內涵，他變得更有責任感。他先後將弟弟曾國潢、曾國荃、曾國華帶到身邊讀書，在弟弟們回家應考期間，他經常寫信讓他們好好讀書，爭取功名。在曾國藩的言傳身教之下，弟弟曾國荃1848年科考一等，補廩膳生。
在治學上，值得一提的是，從1846年開始曾國藩的學術思想發生了重要的轉變，他由“一宗宋儒”轉向了“漢宋兼採”。對於漢學，也不像先前那樣排斥了，對於宋學，也有了客觀的評價。那一段時間也是他系統地整理自己思想的重要階段。他寫了很多文章，內容囊括了對傳統文化的梳理，對道德的邏輯分析，對現實問題的雜錄，對玄學、史學和文藝理論的看法，對一些哲學問題的困惑等等。文章思路之清晰，文字之精確雅緻，讓很多京城大儒暗生欽佩之心。經過這一段時間的盤整，可以說，曾國藩的思想和學問又進入了一個新境界。
就這樣，曾國藩平靜地度過在京為官的這段日子，那時候曾國藩的最大目標，就是在學問、人格以及官位上追求完美，這也是每一個傳統文人的終極目標。此時的他從沒想到有朝一日會投筆從戎，也從未想到，自己的後半生會在硝煙瀰漫的戰場上度過，直到太平天國起義爆發……
1851年1月11日，廣西爆發了舉國震驚的太平天國起義，這次由洪秀全等人領導的農民起義規模空前，並提出了一些帶有濃郁的西方色彩的口號，在廣西一呼百應。
咸豐皇帝感受到這次農民起義的威脅力非同一般，為了挽回民心、渡過難關，特下令向各大臣徵言。這一舉措激發了曾國藩的報國熱情，他以為時機已到，於是，連上奏章，提出多項革除弊政的建議。包括人才的發現、培養和考察等用人方面的建議，還提出了軍隊改革的方案，建議通過裁兵、節餉等措施，來提高官軍戰鬥力……
可是，曾國藩的建議並沒有被採用，咸豐皇帝雖然積極地向大臣徵集了很多建議，但只是想起到穩定民心的作用罷了，形勢沒有實質性的改變。在覺得報國無門的情況下，曾國藩再次進諫，急切想要杜絕咸豐皇帝的“驕矜”之氣並扭轉廷臣的“唯阿之風”。在這份奏摺中，他將矛頭勇敢地直指年輕的咸豐皇帝，這無疑激怒了皇上，以至於奏摺還沒批閱完便被狠狠地扔在了地上，還立刻召來軍機大臣，想要問罪這個膽大包天的老夫子。在大臣們為他苦苦求情的情況下，曾國藩才免於獲罪。自此之後，餘怒未消的咸豐皇帝一直對曾國藩耿耿於懷。後來，曾國藩的恩師穆彰阿被罷免，咸豐對曾國藩更是心存芥蒂。而曾國藩從此以後，不僅打消了對清朝政治從上到下進行整頓的念頭，而且鋒芒頓減，變得謹慎起來。
1852年7月，曾國藩奉命充任江西鄉試正考官，並獲准完事後回家探親。不料，途中忽然接到母親去世的訃聞，於是急忙從九江乘船回鄉奔喪去了。
第二年，太平軍廣西部佔領了江寧，並在南京建都，改名天京。其餘部隊也向河北、直隸進發，想要直搗黃龍，局勢越來越緊張，引起全國騷亂。咸豐皇帝想起了團練——在古老的保甲制度的基礎上組建民間武裝。嘉慶時期，清朝政府就是靠團練消滅了白蓮教。於是，便迫不及待地下令各省地方官和任命丁憂或請假在籍的官員都積極辦理團練。丁憂指的是明清時期官員的父母死去，官員必須遵守停職守制的制度。曾國藩無疑就屬於這一類官員。
曾國藩到家沒幾天就接到了咸豐皇帝的聖旨。一開始曾國藩顧慮重重，並不想接這茬事兒，他痛恨統治階級當權者的腐敗無能，也看不慣那些一般地主士紳的軟弱散漫，覺得和這幫人很難合作。而且，因為母親去世，按理他必須在家守喪三年。所以，乾脆上疏辭謝，陳請終制，準備將這團練的事兒交給張亮基辦。
正要執行這一決定，就接到張亮基的來信，說太平軍已攻克武漢。時局變化如此之快，讓他開始對自己的決定躊躇起來。好友郭蒿燾也受張亮基之託，連夜趕到曾家，勸服曾國藩出山。郭蒿燾說：“你有著匡扶天下的宏偉大志，可是今天不抓住這個時機振臂一呼，中國文化的道統將難以傳承。你又將皇上的旨意放在哪裡？而且在守喪期間從軍作戰，也是古制。”這句話剛好說到曾國藩的心坎上了，但是已經做出的決定怎麼能這麼輕易改變呢？於是郭蒿燾又去動員曾父做說客，支持曾國藩辦團練。這樣，既有了保護天下百姓的名號，又有父命支撐，曾國藩改變原來的決定，去長沙辦團練就有了天經地義的理由。
就這樣，曾國藩開始了他金戈鐵馬的別樣生活。這次選擇，也成為了曾國藩的人生中最大的轉折點。很多年以後，當曾國藩回憶起自己的人生時，會不由自主地感嘆命運的不可捉摸。作為鍾情於學問和操守的一介書生，就那樣突如其來地陷入了戎馬生活。這樣的結果，明顯地帶有宿命的意味。
曾國藩雖然接受了團練大臣的任命，但是並不相信團練武裝在對太平軍的作戰中能發揮多大作用。畢竟今日不同往日，當年適用的方法到現在不一定奏效。首先，餉源不同，嘉慶那會兒，團練費用都是從國庫提取的，因而大力操練也大會增加地方和民間的負擔。而現在，政府財政拮据，軍餉都少了，哪裡還有多餘的給團練？所以，現在的團練經費一般都由地方士紳自籌自管。其次，作戰對象也不同。當時的白蓮教起義人員分散，而且內部又有宗教分歧，沒有統一的指揮機構，都是流動作戰，沒有根據地，利於各地團練武裝堵截追擊。而太平軍是個更進步更難對付的起義團體，不僅有嚴密的組織和統一指揮，在政治、軍事和經濟方面也都有自己的綱領，而且規模浩大，來勢洶洶。正是因為清楚地看到了團練的弊端，所以他一開始就沒有真正按照要求來團練，而是選擇了募勇的方式。募勇和團練都屬於臨時兵團，是政府有事招募，而事後遣散的一種軍隊組建方式，這一點區別於世襲終身制的綠營制度。但是募勇不像團練那樣，選擇不脫產的當地小地主來充當團練軍隊的主力，而是效仿明朝戚繼光的練兵方案，在農民中挑選身強體壯者參加，而且是有軍餉支持的全職軍人。
正因如此，在決定募勇練兵之後，曾國藩立即上疏，這次他並沒有完全把心中想法說透徹，而是玩了點文字遊戲，在“團練”上大做文章。本來團練就是一個固定詞組，但是他聰明地把“團”和“練”一分為二，變成兩種不同的組織，他說團而不練是不收錢財、不發口糧的，僅僅綁送土匪而已，和古時候的保甲是一樣的；而團而兼練就必須要建立軍營，發口糧，這樣才可以保衛本省，救濟外省，後者才是適用於新時代的官勇制度。就這樣，曾國藩不僅順利地把募勇劃歸到團練名下，並爭取到了政府的財政撥款，這也為他組建一支新式軍隊奠定了經濟基礎。
在募勇練兵一段時間之後，他開始謀劃怎樣改募成軍。其實，曾國藩早就想著要這麼做了。一來，綠營兵惰將驕，戰鬥力不強；二來，團練武裝難以得心應手。在天平天國的強烈攻勢下，創建一支新型的、有戰鬥力的部隊是非常必要的。曾國藩細細地研究了明朝戚家軍的組成方式、紀律和作戰策略，仿照戚家軍的模式對湘軍進行整編，改革軍制。比如以營為基本戰鬥單位，擬定營規、餉章等等。這支部隊只隸屬和服從曾國藩一人，只有曾國藩，才是這支軍隊的絕對領袖。到咸豐四年一月，曾國藩已練成水陸兵勇各十個營五千人的規模。當然，湘軍的主要骨幹，還是由他的一幫兄弟和朋友支撐起來的，有曾家弟兄曾國荃、曾國華、曾國葆，還有他的好朋友郭嵩燾、江忠源、羅澤南、胡林翼、左宗棠等。從骨幹到基礎兵，基本上都是湖南人，這樣的部隊，沒有比“湘軍”這個名稱更合適的了。
值得一提的是，曾國藩對自己的部隊不僅訓練作戰技術，還注重儒學教育，從人格上對士兵進行修煉。所以，一開始，曾國藩就賦予了這支部隊很多衛道的特質。據說，曾國藩還以他自己獨創的方式，親自為這支部隊創作了很多琅琅上口的歌謠，並以此作為對這支由書生、農民以及社會閒散人員所組成的臨時軍隊的教化。
正當曾國藩在積極訓練湘軍的時候，太平天國發動西征，於咸豐四年年初第三次佔領漢口、漢陽，但因武昌久攻不下，於是丟棄武漢，準備分兩路向四川和湖南進軍。情況緊急之下，曾國藩決定不再等待廣西所募水勇的到來，立即出發東征。
這是湘軍真正意義上的首次出戰，對於曾國藩來說意義是重大的。所謂養兵千日，用兵一時，在這一刻，全體兵將都鬥志昂揚。曾國藩考慮問題頗為周詳，因此在水軍出發前做足了準備。為防止出發後糧食、物品供應不及時或者餉銀在當地買不到東西等突發事件，還特地租用百艘民船，和七千名水手伕役，部隊可謂浩浩蕩蕩。臨出發前，還特地發表了一篇名為《討粵匪檄》的戰鬥檄文，想要利用地方主義孤立太平軍。
曾國藩駐軍長沙不久，還沒來得及出發東征，由石祥貞率領的太平天國的西征軍部隊就已經攻進了湖南，佔領了湖南北部的嶽州、湘陰和寧鄉，前鋒緊逼長沙。曾國藩派儲玫躬去攻奪寧鄉，但是途中遭到太平軍的埋伏，這次小攻失敗了。但是，從另一個角度講，倒也給了石祥貞一個下馬威。
石祥貞見湘軍來勢洶洶，以為後面的大部隊會馬上跟上來大戰一場，所以連夜就從寧鄉、湘陰、嶽州等處撤兵，退到湖北去了。不過，退到中途，剛好碰到從漢陽西上的林紹璋部的援軍，石祥貞一看到援軍到了，馬上又取道咸寧、蒲圻南下，打回湖南。而曾國藩看到太平軍後退，馬上把攻佔湖北一事提上日程。他先派胡林翼、塔齊布等人由陸路攻打通城，並約定與湘撫駱秉章派出的王鑫部的三千湘軍會合，攻打蒲圻，而自己則率領大軍由水路向嶽州進攻。王鑫部途中正好遭遇重組後折回湖南的太平軍，大敗而回，緊急進入嶽州據守，但也被太平軍團團圍困。
曾國藩聽到前軍失利和王鑫被圍的消息，打算迅速退兵，後在陳士傑的苦勸之下，決定採用陳的建議，派炮船到嶽州城外虛張聲勢，連放幾炮，王鑫等九百多人聽到炮聲後，趁機爬城牆逃出，算是保留了湘軍的一批骨幹。緊接著，太平軍攻佔嶽州，全殲王鑫部湘軍一千多人，並乘勝前進，再次佔領靖港、湘陰、寧鄉，前鋒攻佔湘潭，對長沙形成夾擊攻勢。
湘軍出師不利，大部分人馬都退守長沙，處境很是窘迫。當時湖南的官紳議論紛紛，甚至有人想趁機解散湘軍，此時曾國藩的壓力更大了。他回到長沙後，頂住壓力，認真分析失敗原因和太平軍的優劣勢，制定了集中優勢兵力攻打湘潭的作戰計劃。在和部將商談詳細作戰計劃的會上，決定派塔齊布一軍和全部水軍前往攻打湘潭，行軍序列是楊載福等五營先出發，曾國藩率領其餘五營次日續進。
然而，臨行前忽然有靖港民團前來報告，說那裡的太平軍人數很少，而且沒有防備，現在恰是攻佔的好時機，而且民團已經搭好浮橋，願意為湘軍助攻。於是曾國藩放棄了原先的計劃，率剩餘的水陸各營改攻靖港。結果慘敗，逃回長沙。
當時，曾國藩看到士兵逃跑，親自執劍督陣，穩定軍心，並且讓旗手在岸邊樹立一面寫上“過旗者斬”的旗子。可是，他苦心訓練的湘軍同樣兵敗如山倒，任他想盡辦法挽回，逃跑的仍舊逃跑，這種狀態和他一再譏諷的綠營軍有什麼區別？曾國藩看到這個場景，沮喪至極，怎麼也想不明白。
回到長沙後，他暗示弟弟曾國葆買回棺材，準備第二天就自殺。慶幸第二天清早便傳來了湘潭取勝的好消息，這下曾國藩終於長舒了口氣，完全消除了之前的自殺念頭。看來湘潭一戰的取勝是非常重要的，它不僅堅定了曾國藩對湘軍的信心，有力地反擊了那些反對操練湘軍的言論，更重要的是引起了清朝政府對湘軍的重視，而這種募勇成軍的做法也得到了咸豐皇帝的支持。
曾國藩能在以後對抗太平天國的多場關鍵性的戰役中取勝，和他每天堅持寫日記，善於思考總結的習慣是分不開的，而這個習慣的形成都獲益於早年的理學研究。從靖港逃出之後，他也認真地總結了嶽州、靖港、湘潭這三次戰爭的經驗教訓，認為功過界定不清晰、賞罰不分明是戰敗的主要原因，這種模稜兩可的局面必須要徹底改變。於是，針對各營在這幾次戰鬥中的表現，他對湘軍進行了組織整頓，又根據兵貴精而不貴多的原則，對湘軍進行大力裁員，只留那些勇猛善戰的部隊。這次裁人，嚴格按照凡是潰散之營、營哨兵勇一律不用的原則執行，所以曾國藩的胞弟曾國葆也因為戰敗被列在裁員名單中。經過整頓之後，湘軍部隊的水陸兩軍總共只保留了五千人。
湘潭戰爭後，太平軍重新調整了軍事部署，在嶽州做好了迎接湘軍進攻的準備。而湘軍在長沙經過一番休整之後，也重新向太平軍發起攻擊。在馬上開始的城陵磯陸戰中，湘軍猛將塔齊布對太平軍的著名猛將曾天養，同樣蓄勢待發的兩支部隊短兵相接，打得異常激烈。其實，這時湘軍水部已先輸一局，陸軍取勝的壓力很大，正當兩支部隊打得不可開交時，太平軍主帥曾天養髮現了塔齊布，他大喝一聲，急速騎馬衝進敵營，直刺塔齊布，不過，塔齊布機智地避開長矛，反刺中曾天養的坐騎，曾天養馬蹶人倒，壯烈犧牲。主帥的犧牲對太平軍打擊很大，一時間軍心渙散，無心與湘軍決戰，退向武昌。而城陵磯一戰的取勝讓湘軍信心大增，乘勝追擊。
在接下來的攻奪武漢的戰爭中，太平軍見來勢洶洶的湘軍攻到城下，便喪失了信心，乾脆棄城逃走了。這樣，太平天國把對它至關重要的上游重鎮，以倉惶逃跑的方式拱手讓給了湘軍。歷史一般是這樣記錄，1854年10月，曾國藩的湘軍第一次攻下武昌，只用了短短的四天時間，傷亡只有兩百多人，攻城行動可謂摧枯拉朽。相比之下，太平軍損失船艦兩千餘艘，喪師數千。這可以說是開戰初期，清朝對抗太平天國為數不多的一次迅速獲勝之戰。
當時，對戰局幾近絕望的咸豐皇帝獲悉這個消息後，欣喜若狂，立即下令賞給曾國藩二品頂戴，同時讓曾國藩代理湖北巡撫。剛收到皇帝的這個旨意時，曾國藩還假意推辭一下，雖然他很嚮往這份地方實權，但他在守孝期間立功受職，不合規矩，別人肯定會譏諷指責的。於是，就寫了封辭謝奏疏給咸豐。讓他鬱悶的是，自己的辭謝奏疏還沒到，咸豐就在某軍機大臣的勸服下收回成命，改為賞給曾國藩兵部侍郎頭銜，辦理軍務。
這樣，攻佔武漢的最大功臣只能遠遠觀望荊州將軍官員和前署理湖督都受到重賞，自己卻只得了一個客軍虛懸的地位，很是傷心。不過，這倒是讓他更進一步看透了清朝政府對他的猜忌心理，更加感到悲觀。不過，曾國藩也明白這種戒心是皇帝對自己權位的護衛，正像那位勸服的大臣說的：“曾國藩以侍郎在籍，就是一般的平民身份。一介平民，居然能夠一呼百應，恐怕不是政府的福音吧。”經過這件事，曾國藩和朝廷之間的關係越發微妙了。
對於咸豐皇帝的另一道旨意——命令他率領水陸各部乘勝東下，迅速進攻江西、安徽的太平軍，曾國藩認為極為不妥。一來，經過幾場戰爭後，湘軍損傷很重，需要休整和補充增強戰鬥力；二來，太平軍雖然遭到很大損失，但仍有相當實力；三是湖北經濟還沒有恢復，不能建立糧餉基地。湘軍東取江西、安徽，還是隻有湖南的供給。這樣，遠離後方，供應困難，容易導致軍士潰散、前功盡棄的結果。但是咸豐皇帝急於求成，拒絕接收曾國藩的意見，仍然命令他迅速東下，善後工作交給其他官員。
咸豐皇帝的這一錯誤決策完全打亂了曾國藩的計劃，迫使他脫離後方，銳兵輕進，數年內陷於進退維谷的困境。
依照咸豐皇帝的旨意，曾國藩根本就沒有休整軍隊的時間，湘軍只能在艱難的情況下立刻投入下一場攻堅戰。而這個時侯，對手太平天國也早已做好了應對準備。其實在湘軍攻下武昌之後，太平天國就立即調整了戰略部署，調集燕王秦日綱和翼王石達開部，大軍沿長江一線，開始了第二次猛烈的西征。
1854年10月底，曾國藩率領湘軍從武漢出發。這一回，曾國藩打算集中優勢兵力，全力圍攻湖北與江西交界處的田家鎮。曾國藩首攻黃州，再佔鄂城，然後兵分三路東下，一路掃清沿途的太平軍據點。到了長江邊上的半壁山一帶，湘軍重新聚集，全力進攻太平軍重兵屯集的田家鎮。田家鎮之戰異常慘烈，曾國藩在給朝廷的奏摺中這樣描述：即使是戰爭結束後，江邊上仍有浮屍不斷。經過幾次拉鋸戰，湘軍在付出了慘重代價之後，終於攻克了田家鎮。
然而，田家鎮大捷之後，曾國藩及湘軍便跌入了戰爭的谷底。一開始，曾國藩全力進攻九江未果，只好掉轉方向，把主攻目標對準湖口，想憑藉水師的優勢，拿下湖口，再攻九江。讓曾國藩沒想到的是，這一次他遭受到了最為慘烈的鄱陽湖之敗。
1855年1月，湘軍水師中計陷入鄱陽湖內，湖口的太平軍見勢勇敢殺出，攔腰攻擊湘軍水師，將它們一分為二。這樣，就成了“內江水師”和“外江水師”兩部分。然後，太平軍乘機反攻，派水師先火攻湘軍之外江水師於湖口江面，大勝，湘軍的外江水師被迫移至九江水面。2月，太平軍水師再次乘夜火攻湘軍停泊在鄱陽湖的內江水師，焚燒了湘軍大、小戰船一百多隻。正在鄱陽湖的曾國藩，只得改乘小船倉皇逃命，連文卷冊牘也全部丟失了。他逃至羅澤南的陸營後，越想越覺得羞愧難當，再次投水自殺，還好被幕僚營救上岸。說起來，這應該算曾國藩第二次自殺未遂。
在曾國藩湖口大敗之後的那段時間裡，太平軍的進攻連連得手，湘軍連戰連敗，形勢急轉直下。1855年4月，太平軍秦日綱、陳玉成部攻下了武昌，湖北巡撫陶恩培情急之下，自殺身亡；緊接著，胡林翼又在漢陽附近遭遇敗績……這一系列事件中，最讓曾國藩痛心的是兩位愛將的離開。在攻打九江的戰爭中，悍將塔齊布因久攻九江不下，吐血而死；隨後，另一名得力猛將羅澤南接到命令，要回援湖北。“羅走塔滅”後的曾國藩，像是失去了最有力的兩支臂膀，在江西的處境日益狼狽起來。
正當曾國藩在南昌岌岌可危的時候，楊秀清將石達開調回天京，參加攻破江南大營的戰鬥，曾國藩死裡逃生。1856年4月，更惡劣的消息不斷傳來：先是太平軍大破朝廷綠營江北大營；接著，傳來愛將羅澤南在湖北戰場犧牲的消息。本來，曾國藩在江西戰敗之時，給羅澤南寫了一信，讓他火速調兵來江西救援。羅澤南收到曾國藩的信後，立即救援江西，走到一半時，因武昌被圍，湖北形勢急迫，他只好又掉轉方向回湖北解救。武昌被太平軍攻下之後，羅澤南決定不顧一切將武昌城奪回……聽到羅澤南的死訊，曾國藩異常痛惜，淚流滿面。在湘軍中，曾國藩最欣賞的，就是羅澤南與彭玉麟了，這兩個人無論是人品還是才學，都堪稱“三湘翹楚”。更難得的是，從湘軍組建開始，羅澤南幾乎就沒有打過敗仗，即使是在曾國藩“屢敗屢戰”之際，羅澤南也是無堅不摧……現在，武昌攻下了，羅澤南卻身亡前線，曾國藩不由地號啕大哭。
1856年6月以後，由於清軍綠營的江南大營突然圍攻南京，太平天國東王楊秀清急命石達開領軍東援解圍，太平軍的主力從江西撤回了江蘇。石達開的這次撤離，讓岌岌可危的曾國藩看到了轉機，給了他喘息的機會。在機會來臨的時候，穩重的曾國藩總能牢牢抓住。當危急局面一有所緩和，曾國藩就馬上開始補充力量，這個時候，湖南又一次顯示了它的後方基地的作用。在湖南巡撫駱秉璋和左宗棠的指揮下，劉長佑、肖啟江率五千湘軍前來增援江西；不久，曾國華又從湖北率一支人馬繞道湖南進入江西境內；曾國荃又從老家招募了一支湘軍前來支持……這樣，曾國藩結束了長時間被包圍的局面。在江西，與太平軍的戰鬥重新進入攻守相當的狀態。
1856年9月，太平軍方面發生了巨大變化，一場親痛仇快的領導集團內訌，嚴重削弱了太平天國的政治影響和軍事實力。太平天國在經歷一番內亂後，大傷元氣。更讓太平天國感受到打擊的，是他們對於洪秀全的個人崇拜開始動搖，人們開始懷疑洪秀全的神話了。這個新成立的“政教合一”的組織不得不收斂起鋒利的進攻態勢，開始堅壁清野固守城池了。戰事對於太平天國來說，已轉入戰略防禦階段。
幾個月後，形勢逆轉直下，在蘇南戰場，清軍江南大營死灰復燃。1857年，清軍張國樑部攻克鎮江，威逼金陵。在江西，石達開回金陵之後，曾國藩開始全面反攻，江西太平軍力量幾乎全部瓦解，僅存湖口、九江等地成為孤立的據點。在湖北方面，太平軍武昌城的守將韋俊是韋昌輝的親弟弟，兄長被殺，韋俊鬥志完全喪失，棄城而逃後投誠了湘軍。胡林翼重新佔領了武昌，武昌的失守讓戰局立即得到改變。1856年底，湘軍水陸兩路再次順江東下，連陷黃州、蘄州、大冶、興國等；1857年1月，又攻下黃梅。在湖北，太平天國丟失了大量地盤，基本喪失了戰鬥力。緊接著，李續賓統率湘、楚軍一萬多人，直抵九江城下。很快，九江城被攻陷，太平軍一萬多人陣亡。
這個時候，軍事形式完全倒轉過來了。但軍事形勢的好轉並不能給曾國藩帶來更多的安慰，因為這些湘軍雖然都是由自己一手創建的，但是發軍餉的卻是湖南與湖北的地方官，攻取戰勝都是他們的功勞，與曾國藩無關，他能報功的也就只有瑞州一城，可是也得不了全功，因為那次戰役的取勝還要歸功於湖北的增援。這樣艱苦的戎馬生活到底能給我什麼好處？曾國藩越想越沮喪。對這種無休止的屠殺，曾國藩已從心底裡感到了厭倦。這樣一直鬱悶了幾個月，直到3月的一天，曾國藩在瑞州城外的湘軍大營忽然接到父親去世的訃告，居然像抓到了一根擺脫困境的稻草，馬上奏報申請離開軍營回家治喪，不等朝廷回覆，就封存了大印，準備帶曾國華離開湘軍大營。有人提醒他，不待批准就離開軍營，是要被治罪的，但這些都沒有阻擋住曾國藩的腳步。
曾國藩以前處世總是非常嚴謹、理智，做決定之前總要深思熟慮，確定事出有名才去做，一要對得起朝廷，二要符合封建倫理規則，而這次冒著得罪朝廷的風險也要急急回家，完全不像他的做事風格。也許他真的對那個搖搖欲墜的朝廷失望透頂了，這個朝廷懦弱無比、忠奸不分、自私自利，居然對他這個賣力挽救清朝江山的忠臣也不信任，做得再好，又有什麼用呢？這樣的朝廷，又有什麼值得留戀的呢？不如干淨利落地回到自己的山村之中，做一個世外桃源的員外。
皇帝在聽說曾國藩沒有獲准就回老家奔喪後，非常惱怒，本想治他的罪，由於湖南巡撫駱秉章和湖北巡撫胡林翼反覆為曾國藩求情，才免於追究。朝廷給了曾國藩三個月的假期回籍治喪，但也規定假滿之後必須回江西辦理軍務。
三個月的假期很快就要過去了，曾國藩真的不想再過客位虛懸的日子，就向朝廷打報告，奏請按照慣例，在家守三年之孝。咸豐皇帝當然不同意他的請求，命他仍遵前旨，假滿後即返回江西軍營，繼續督辦軍務。接到上諭之後，曾國藩被逼無奈，乾脆向咸豐皇帝攤牌，講明自己不願回江西督辦軍務的真正原因。
當天晚上，曾國藩挑燈夜戰，撰寫了一封奏摺，題為《瀝陳辦事艱難仍懇終制折》，在這篇長長的奏摺中，曾國藩訴說了自創建湘軍以來受到的種種委曲，尤其是將近年來在江西督辦軍務的三點難處，詳細地向朝廷作了報告：一是沒有軍權，因他所率領的湘軍屬於臨時募集的官勇，不是國家經制之兵，所以雖能征善戰，但有功人員卻不能像綠營官兵那樣補授實缺；自己雖然是兵部侍郎，卻無法對自己的部下進行獎勵和提拔，即使是補授小缺，也須向巡撫、總兵求情，久而久之，很難取信部下，鼓勵士氣；二是沒有政權，自己以兵部侍郎之職帶兵，在地方上處於虛懸客位，既無政權，又無財權，更無賞罰黜陟之權，所以遇事掣肘，處處碰壁，兵餉沒有保障，動輒受到斷餉的要挾；三是沒有欽差大臣的職銜，以團練大臣募勇成軍，雖奉有出省作戰之諭，但沒有欽差赴某省辦理軍務的正式命令，更沒有正式印信，因而處處受到地方督撫的歧視、刁難和排擠。
最後，曾國藩強調說，如果仍然要他去辦理江西軍務，必須擔任巡撫一職，否則派他去鎮壓太平天國運動，也無法最後取勝。如果是這樣，還不如要將軍、巡撫去辦，這樣事權較專，提攜也比較便捷，而自己也可以“在籍終制”，以盡孝心。從奏摺中，明顯可以看出，這一回曾國藩明擺著是要向咸豐提條件，與其這樣左右掣肘，還真的不如不幹了。
雖然曾國藩的這個要求提得比較明顯，但是咸豐皇帝還是拒絕了。他堅決恪守祖訓，只讓曾國藩帶兵打仗，決不能讓他兼有地方實權。而且這個時候太平天國的勢力日趨衰落，覺得曾國藩已經不是那麼重要了，就順水推舟，批准曾國藩在籍終制的要求。曾國藩聽完聖旨之後，心中五味俱全。就這樣，曾國藩再次過起了寧靜的鄉村生活。
一段時間之後，曾國藩突然變得莫名憂鬱起來。晚上經常徹夜失眠，而因為休息不好導致神經衰弱，曾國藩的脾氣也變得焦躁粗暴，看不進書，也不想練字，有時候，還會莫名其妙地因為一些小事呵斥弟弟們，甚至還會沒有風度地責怪弟媳。家裡人都被曾國藩搞得神情緊張。
由於心情一直不好，曾國藩不久就大病一場。雖然飽受苦痛的磨難，但是也算因禍得福了，躺在病床上，曾國藩開始思考自己的人生，從事業到家庭，漸漸地放寬了心。後來，他利用這幾年在家守制的時間，對自己前幾年的經驗教訓進行了全面的總結。除了對於到處碰壁的原因，領兵而未兼地方兵權外，還對自身修養方面的種種弱點做了一番認真反省。經過幾年的思想鬥爭後，曾國藩日趨世故圓熟了。對清政府也看透徹了，既然不能改變這種狀況，又離不開這種場合，就只好改變自己，向官場風氣屈服，或者說適應這種之前被他鄙夷的環境。
在老家休養的這一段時間，曾國藩仍然跟部屬們保持密切聯繫。曾國藩頻繁地和他們書信交流，寫信告訴部下怎麼做人、如何打仗，併為他們出謀劃策。除了讀書寫信之外，閒暇之餘，曾國藩還提筆信手寫一些札記。每個人都要與各式各樣的人打交道，學會判別各種各樣的人，就顯得特別重要。在這段時間，曾國藩就把自己察人的經驗，作了一些整理。後來，有人把曾國藩在白楊坪以及後來所寫的有關察人的筆記，加上很多附會，整理成《冰鑑》一書。
曾國藩不在軍營的這段時間，湘軍的情況也發生了很大改變。湘軍並沒有因為曾國藩的出走而元氣大傷，相反，在胡林翼坐鎮湖北的指揮下，取得了不錯的戰果，一舉攻克了江西重鎮——九江。胡林翼大力舉薦、任用湘軍大將李續賓、鮑超等，聲望直線上升。不過，在湘軍中，曾國藩還是最高指揮官，只有曾國藩才可以統一指揮各路湘軍。因此駱秉章和胡林翼很想讓曾國藩出山，不僅可以加強湘軍各部分的聯合，助自己一臂之力，也可以為曾國藩謀得一地方實權。胡林翼一直等待時機，準備向朝廷進諫。而曾國藩呢，雖然看起來已經慢慢適應了這樣慢節奏的生活方式，但是他的內心深處還是很想再回到自己的軍營中去的。
1858年6月，由於多年好友胡林翼和駱秉章先後上奏朝廷，他才又再次出山負責浙江軍務。重新出山的曾國藩，已經不再是以前那般剛愎呆板了，經過了一年多的鄉村生活，精神境界似乎又上升了一個層次。
曾國藩從出山以來，可以說是未遇強敵，未打硬仗，用一路順風來形容都不為過。曾國藩想著，依這個形勢，一年之內就可以把太平天國運動鎮壓下去了。不料三河城一戰又迅速改變了湘軍與太平軍之間的力量對比。
1858年11月，正當曾國藩全力追擊石達開部的時候，噩耗傳來，剛在九江取得大捷的湘軍李續賓部六千多人，被太平天國李秀成、陳玉成在廬州三河鎮全部殲滅，李續賓本人和曾國藩三弟曾國華也被擊斃，湘軍元氣大傷。
突如其來的打擊讓曾國藩異常傷心。李續賓是曾國藩的愛將，一直對自己忠心耿耿；三弟曾國華雖然自小起過繼給叔父，但一直跟其他兄弟一起長大，兄弟五人的感情很好，而曾國藩又是老大，比其他四個弟弟分別大九歲到十七歲，俗話說“長兄如父”，曾國藩無疑在兄弟中起到了榜樣的作用，對幾位弟弟也是關愛有加。幾個弟弟也非常敬重他，不僅僅是因為他在學業和仕途上取得了成功，更是在平時不斷地對這些弟弟言傳身教。曾國華讀書不太用功，科舉不順。而曾國藩在進京後的不少家書中，都要他從科舉中走出來，去讀對身心學問有益的書。
說到兄弟二人的感情，當年曾國藩在江西被圍困時，正是曾國華奉父親曾麟書之命，孤身一人到湖北胡林翼處搬了五千救兵，冒著大雨，連續攻下咸寧、蒲圻、崇陽、通城四縣，之後又攻克新昌、上高等地，直達瑞州城外，幫助曾國藩緩解了危機。“三弟不是打仗的料，脾氣比較暴躁”，曾國藩甚至悔恨將他帶出來。但是人死不能復生，悲痛之餘寫了輓聯“歸去來兮，夜月樓臺花萼影；行不得也，楚天風雨鷓鴣聲”。
1859年至1860年間，因為石達開打算進入四川和蘇州，常州危急，咸豐皇帝命曾國藩率軍入川和東援。奏派曾國藩入川本來是胡林翼的主意，他以為清政府會將川督的職位給曾國藩，藉此為其謀得一塊地盤。後發現清政府仍只讓曾國藩督軍，卻不肯授予地方大權，胡林翼轉念一想，與其讓曾國藩入川，處於客軍虛懸地位，不如將其留下，與他一塊合兵進攻安徽。於是他奏請清政府同意後，曾國藩駐紮湖北，這成為曾國藩一生中的重要轉折點，不僅兵餉的供應有了保證，而且處處得心應手，事事有人幫忙，不再像在江西、湖南的情形。
此時湘軍與太平軍進入了全面交鋒階段。曾國藩進攻安徽的中心目標是太平軍重兵設防的安慶，其完全處於湘軍的嚴密包圍之中。而天京方面，1859年冬，江南大營的清軍對天京的包圍趨緊，進攻猛烈。不過由於清政府綠營軍的腐朽，沒能夠與太平軍抗衡。1860年5月5日，李秀成、陳玉成的十萬兵馬突然出現在清軍江南大營前，只有數萬人的江南大營潰不成軍，太平軍一上午就殲滅清軍一萬餘人。江南大營統帥和春、張國樑等敗逃江蘇丹陽。李秀成緊追不捨，指揮太平軍全力攻克丹陽，擊斃江南大營幫辦張國樑。兩江總督何桂清逃往上海，和春繼續敗逃到蘇州城郊之後，又驚又怕，自縊身亡。太平軍再接再厲，6月2日，李秀成又會合李世賢軍攻佔蘇州，清江蘇巡撫徐有壬戰死。這一次太平軍大獲全勝，不僅順利地解除了天京之圍，而且使東南局勢發生了根本變化，清軍經營了很多年的局面一下子逆轉。
清廷上下一片驚慌。江南大營是所謂的國家經制之兵，在清政府眼裡，總覺得比湘軍可靠，因而將他們佈置在天京城下，讓湘軍苦戰，而綠營收功。江南大營崩潰後，清政府在南方的綠營武裝已基本瓦解，只好依靠曾國藩的湘軍來鎮壓太平軍。清政府強令曾國藩從安慶撤圍東下，救援蘇州、常州。江蘇、浙江是中國最富庶的地方，是財源和糧食的供應基地，其得失對清政府是至關緊要的，所以清政府將兩江地方大權交給曾國藩，目的是要他保住這個錢庫和糧倉。8月上旬，朝廷實授曾國藩為兩江總督，並命為欽差大臣督辦江南軍務，所有大江南北水陸各軍均歸節制。接到上諭的那一刻，曾國藩終於感到揚眉吐氣，因為這次得到的不僅僅只是官位，更重要的還是清政府的承認。從一開始組建湘軍起，曾國藩就一直在不信任甚至打壓中度過，而這次終於可以名正言順了。不過話又說回來，如果江南大營沒有被攻破，清政府又怎麼會給他這個職位呢？所以曾國藩也明白，這是因為清政府已經束手無策了，只好求助於他。曾國藩當然深知這種微妙的君臣關係，所以他並沒有因為這次委以重任而亂了手腳，反倒是胡林翼聽到這個消息後，異常興奮，馬上寫信給曾國藩，要他放手大幹，除了進攻安慶外，再籌兩支武裝，一出揚州，一出杭州。但曾國藩認為這個計劃不現實，仍然把戰略重點放在安慶，採取穩紮穩打，步步為營的戰術，先取安徽，後取江浙，力爭上游，以上制下。這些看法比清政府的高明，從軍事理論上和後來的成功鎮壓太平天國的事實來講無疑是正確的。
曾國藩將軍隊駐紮在徽州祁門縣。祁門是安徽最南部的一個縣，跟江西景德鎮交界，是南京和南昌之間的必經之地，地理位置非常重要，也是湘軍和太平軍的重要糧道。在祁門期間，曾國藩不僅軍事上屢遭困厄，人事方面也非常不順，主要是李元度的改換門庭和李鴻章的藉故溜走。1860年10月，太平軍兩路夾擊，兵臨徽州府城下。曾國藩下令徽州府的將領李元度堅守不出，但李元度違背命令，輕易出城，結果大敗。徽州府失守，李元度無臉見曾國藩，南下逃走。曾國藩勃然大怒，不顧別人的阻撓，將李元度革職，李鴻章苦苦相勸也無效，隨後告辭，離開曾國藩的幕府，出走南昌。
危機之時，第二次鴉片戰爭的爆發更是雪上加霜，英法聯軍進逼北京。咸豐皇帝逃往熱河承德避暑山莊，並下旨要曾國藩派湘軍將領鮑超火速趕往京城。曾國藩接到詔書時哭笑不得，這個時候跟太平軍的戰爭都處於下風，自己都還指望悍將鮑超帶兵從江西趕來救援呢。現在真是泥菩薩過江自身難保，如果鮑超率部隊轉赴京城的話，皖南這邊肯定徹底潰敗；而不去的話，又是“抗旨”的罪名。這件事情過於棘手，以至於一下子他和胡林翼都慌了神。最後還是靠李鴻章的一則拖延時間的妙計：請奏萬人北上援助，但是因為鮑超人生地不熟，統帥由曾國藩和胡林翼二人中選一個。這樣奏請一來一回拖延了時間，並且還能靜觀事態的進一步發展。後來京城的事態緩和，清政府與八國聯軍議和了，自然也不用他北上救援了。
這段時期可謂是危機一個接一個，通常是還沒有喘過氣來太平軍又開始大舉進攻了。1860年12月，李秀成率太平軍一路所向披靡，打到離祁門湘軍大營僅有六十里的地方。此時祁門大營內只有一些親兵，其他湘軍都離的很遠，一時半會兒沒法調集部隊回援。再加上糧運中斷，文報不通，曾國藩感覺這次是必死無疑了。連夜寫好遺囑，讓人快馬加鞭送往湖南老家。但是慶幸的是鮑超和張運蘭率領主力晝夜行軍，並在火燒燃眉之時趕到了祁門附近，成功地阻擋了李秀成的進攻。曾國藩這次真是福大命大，有驚無險地闖過了這一劫。
此後戰事慢慢有了好轉，1861年9月15日，安慶在長期圍困後被曾國藩九弟曾國荃部攻下，曾國荃率湘軍“吉”字部攻入城內，駐守的太平軍早已餓得奄奄一息了，更無還手之力。安慶失陷，使天京失去了長江上游一個重要的屏障，太平軍從此居於守勢，湘軍與太平軍的主戰場也由安徽轉移到了江蘇。曾國藩接到捷報，終於鬆了一口氣，這次戰役是一個非常重要的轉折點，在搶佔了這塊要地之後，曾國藩深信攻下天京指日可待了。
值得一提的是在這一時期，清政府和外國侵略者形成了“和好”的局面，外國侵略者多次表示願意幫助清政府剿滅太平天國起義。曾國藩深知洋人是想借此支配中國的軍事力量，所以極力反對。也是由於他的反對，清政府最終沒有接受英、法、俄、美等國大規模的洋兵聯合會剿。
1861年，曾國藩向清廷上奏購置外國船炮，目的是要建設中國近代海軍。清廷委託海關總稅務司李泰國向英國代辦七艘兵船。而英國侵略者藉機成立一個什麼“中英艦隊”，配備600名英國官兵水手，任命英國皇家海軍上校阿思本為艦隊司令，而且規定：阿思本對艦隊有完全指揮權。這一惡毒計劃遭到曾國藩強烈反對，他寫信給總理衙門，強硬地說，阿思本仗勢欺人，以輪船奇貨可居作為要挾，其實根本是想欺凌中國人，藉此支配中國的軍事力量。如果讓其得逞的話“則水陸將士皆將引為大恥”，而且後患無窮。最後清政府只好將艦隊遣散，全部兵船遣回英國，並革除了李泰國的總稅務司職位。英國企圖控制中國軍事的陰謀被徹底粉碎。
曾國藩雖然對洋人深惡痛絕，但是也深知中國當時社會落後，武器裝備和外國侵略者完全不在一個檔次。技術上的落後使他強烈地感覺到了“落後就要捱打”的真理，所以他主張向西方學習造炮製船，興辦近代工業。實際上洋務運動的發起人、倡導者、最早的實踐者正是曾國藩。
在攻下安慶後，他率先籌建了中國第一家近代軍事工廠——安慶內軍械所。這個軍工廠雖然一開始只是一個手工作坊，但是它是以手工和現有的物質條件製造近代的船炮，在那個時期已經是個突破了。剛創辦時，曾國藩組織了徐壽和華衡芳等人試著造輪船。最後他們克服了重重困難，終於造出了中國第一艘輪船——黃鵠號。雖然這艘輪船造得還不甚得法，行駛遲鈍，但是想著中國的江河上第一次有了中國自造的輪船行駛，曾國藩非常高興，一種民族自豪感和自信心油然而生，當天就在日記中寫道：“竊喜洋人之智巧，我中國人亦能為之，彼不能傲我有其所不知矣！”
不得不承認單靠自己手工製造近代船炮是遠遠不夠的，不僅效率低下，而且做出來的武器還是不能和洋人的抗衡。所以在安慶試辦軍工的時候，他又提議派人員去國外購買機器。他選派了最早留學美國的容閎，赴美購辦可以製造機器的機器，準備建立正式的近代機器工業。
後來曾國藩與李鴻章共同創辦了江南機器製造局。江南機器製造局製造出了國產的第一艘兵輪和第一臺車床，還煉製出第一磅近代火藥和第一爐鋼水。同時曾國藩也注重擴大生產規模，在江南機器製造局的帶動下，一批軍用民用工礦企業迅速興起。如山東機器局、四川機器局、大冶煤鐵礦、徐州煤礦、開平煤行、漠河金礦等等。1866年，江南製造局又設立翻譯館，大量翻譯西方科學技術方面的書籍，“泰西聲、光、化、電、營陣、軍械各種實學，遂以大明，此為歐西文明輸入我國之濫觴”。這些書籍不僅為培養我國近代科學技術人才作出了貢獻，而且對近代思想界也有相當大的影響，康有為、譚嗣同最初接觸西學，就是從這些書籍入門的。
江南製造局一創辦，就附設了一所機械學校，培養生產技術力量，開我國近代職業教育的先河。1872年，曾國藩還採納容閎的建議，派幼童到美國留學，揭開了我國向西方派遣留學生的歷史。
可以說，軍工廠的創辦對湘軍戰鬥力的提高也起到了很大的推進作用。此時的太平天國，因為幾年前的內訌本來已經元氣大傷，洪秀全又專制獨裁，立法無章，大綱紊亂，他甚至改太平天國為天父天兄天王太平天國，要把太平天國成為他父子公孫一家的天下。再加上洪秀全政府腐敗驕奢，以致人心離散，唯靠陳玉成和李秀成東征西討支撐著這個搖搖欲墜的政權。
曾國藩趁熱打鐵，制定了詳細的圍攻天京的計劃，準備將太平天國一網打盡。採取的仍是圍城打援的老辦法，曾國荃率軍進扎天京城外，曾國藩令其原地駐紮，以待多隆阿軍隊到來。而多隆阿遠走陝西，不肯與曾國荃合軍打天京，這正中曾國荃下懷，這樣就不會有人與他爭功了。曾國荃接到李鴻章來函，獲悉有淮軍來天京城外助攻，於是全軍總動員，不顧一切，想搶在淮軍到達之前攻下天京，獨吞攻陷天京的功勞和撈取天京的財物。
1864年7月，天京九門皆破，落入湘軍手中，太平天國革命宣告失敗。曾國荃也因此發了戰爭財，曾國荃縱兵對天京大肆擄掠燒殺。經過這場浩劫，古都屍橫遍野，幾乎變成一片空虛。曾國藩對此也只是包庇著胞弟，在給朝廷的奏摺中稱“偽宮賊館，一炬成灰，並無所謂賦庫者，然克復老巢而全無貨物，實出微臣意計之外，亦為從來罕見之事”。清廷肯定是心知肚明的，但是又不能說什麼，畢竟是靠湘軍才鎮壓了太平天國的。清廷論功行賞，曾國藩賞加太子太保銜，賜一等侯爵，世襲罔替，賞戴雙眼花翎；曾國荃賞加太子少保銜，賜一等伯爵，其餘湘軍將領也都賞賜有加。
攻陷天京以後，曾國藩也已經意識到自己與清政府的關係可能發生變化，湘軍的強大無疑成了清政府的心頭一塊放不下的石頭。對曾國藩來說，解決矛盾的辦法有兩個，一是自剪羽翼，釋清廷疑忌，以自保末路；二是起兵造反，推翻清朝，自立為帝。但由於在客觀上存在很多不利的因素，只能走剪翼自斂的道路，不失“功臣”之名，侯爵之位，成一代聖賢。
曾國藩開始行動，由於擔心李秀成在清政府面前“搬弄是非”，因為如果曾國荃部搶奪所有金銀財物的事情被他告發，這對曾國藩是很不利的。於是他殺人滅口，下令就地處死了李秀成。此時的曾國藩經歷了這麼多年的戎馬生涯和磨難，做人處事為官方面早已圓滑。曾國藩馬上向清廷奏請了三件事情，第一奏請清政府停解部分厘金；第二下令裁撤江寧城內外湘軍二萬五千名；第三陳請曾國荃因病開缺，回湖南調養。清政府對他的做法是背地裡叫好的，馬上批准了他的這些要求。
第二年，也就是1865年，殘餘的太平軍和捻軍組成新捻軍，原太平軍將領被推選為領導人，繼續武裝反抗清政府。“捻”是康熙年間以來一直存在於民間的群眾反清團體，曾是太平軍忠實的盟友。捻軍勢力慢慢擴大，5月，捻軍在山東曹州殲滅僧格林沁的八旗兵，並且擊斃了僧格林沁本人。清廷再次感到了驚慌，捻軍也從此聲威大震。危難之時，清政府又命曾國藩督辦直隸、山東、河南三省軍務，鎮壓捻軍，兩江總督的職位由李鴻章代理。接連三道諭旨下來，曾國藩不得已，帶領各軍星夜北上，駐營徐州，馬上制定了剿捻的策略。劃京杭大運河以西、賈魯河以東、黃河以南、沙河與淮河以北，包括了山東、河南、安徽、江蘇四省的十三府、州作為自己的作戰區域，其餘地區則由所在的提督巡撫負責。計劃在徐州、臨淮、周口和濟寧四鎮重點設防，並另外建立馬隊從後面包抄，使捻軍無論走到哪兒，都有兵圍剿，以此殲滅捻軍。
不過此次剿捻並沒有成功，方案屢次改變屢次失敗。由於用兵較雜，有湘軍、淮軍等，隊伍不再像以前那樣好帶了，這時曾國藩非常後悔過早裁撤了湘軍。再加上曾國藩和各省份地方大吏的關係沒有搞好，都不願與他共事，也沒有人為他說話，使得他不得不中途離去，“聲譽名望”也逐漸走向下坡。第二年冬天清政府改派李鴻章接替其剿捻重任。
1868年，也就是同治7年，曾國藩奉命調任直隸總督。他先去京城參見了同治皇帝和慈禧太后。同時還拜訪了恩師穆彰阿的故宅，看到如今恩師家境敗落，心中禁不住感嘆今非昔比。曾國藩任直隸總督期間，檢閱直隸六鎮練軍，才知道清政府綠營軍為什麼這麼不堪一擊。於是他上奏請求以湘軍的軍制來改造直隸練軍，清廷自然批准了。
這個時候曾國藩已年近六旬，身體也不再像以前那麼硬朗。由於肝病逐漸加重，一度導致了他的左眼視線模糊，而右眼完全失明瞭，只好請了幾個月假來修養。
1870年6月21日，天津數千名群眾因懷疑天主教堂以育嬰堂為晃子拐騙人口、虐殺嬰兒，群集在法國天主教堂前面。法國領事開槍射擊本地官員。民眾激憤之下先殺死了法國駐天津領事及其秘書，之後又殺死了修女、神父、法國領事館人員等，並焚燬了法國領事館和一些教堂。事件發生後，英、美、法等國聯合提出抗議，並出動軍艦示威。
曾國藩被慈禧太后派往天津處理此次事件。到天津後，曾國藩深知這件事情不好處理。如何又討好清廷，又兼顧民眾，更重要的是還需要緩解外國侵略者的出兵威脅。以當時的局勢，經過兩次鴉片戰爭和太平軍、捻軍起義之後，不僅封建制度、封建統治全面衰敗，而且人民窮困，國力貧弱，剛開始的洋務運動還不能提供足夠的物質力量來對付一次新的戰爭。曾國藩比任何人都清楚這些客觀條件。在清政府“力保和局”的宗旨和法國的要求下，曾國藩委曲求全，處決、遣戍官民數十人，還由清廷派三口通商大臣崇厚專門赴法國賠禮道歉。這個結果當然是百姓不願意看到的，而清廷是滿意這樣的結果的，只是清政府習慣要找一隻替罪羊，這次曾國藩可謂是啞巴吃黃蓮，有苦說不出。搞得自己裡外不是人，社會輿論壓力鋪天蓋地，連他的湖南同鄉，也把他在湖廣會館誇耀其功名的匾額砸爛焚燬。為了減少所受壓力，他只好上疏請另外派大臣協同辦理此案，清廷接受了他的請求，仍舊讓他還任兩江總督。
回到江寧之後，曾國藩心情抑鬱，衰頹日甚，遂成不治之疾，1872年3月12日，死於江寧兩江總督官署，時年61歲。
清政府聞訊發佈上諭，除對他一生的活動大加讚揚外，還追贈太傅、溢文正，並准入京師昭忠祠、賢良祠，於原籍和江寧建專祠，在國史館立傳，這在當時對漢大臣來說是最高一級的嘉獎了。
閱讀更多 柏拉圖的肥鳥 的文章
