漢武帝臨死前，告訴霍光要幫助自己年幼的兒子掌朝。霍光掌權以後，繼續推行武帝末年確定的休養生息政策。他幾次讓昭帝下詔減輕田租，減少勞役，還把苑囿土地貸給貧民耕種。這些緩和政策的實施，使西漢的農業生產有了恢復，封建統治得以穩定，出現了"昭宣中興"的局面。
但是，霍光位高權重、霍家人飛黃騰達也引起其他權臣的忌恨與不滿。左將軍上官桀也是佐命大臣，是霍光的兒女親家。兩人關係開始很好，後來卻成了冤家。據說，上官桀想讓他六歲的孫女，也就是霍光的外孫女，嫁給漢昭帝做皇后。霍光沒有同意理由是孩子太小。後來，上官桀還是通過走昭帝姐姐蓋長公主的門路，讓自己的孫女當上了娃娃皇后。上官桀為討好蓋長公主，想請霍光封公主的一個男寵做侯，霍光執意不肯。這兩件事，霍光既得罪了上官桀，又得罪了蓋長公主，他們便聯合起來，並拉上燕王劉旦，一同陷害霍光。
原來，這個燕王旦為漢武帝的李姬所生。因故太子劉據被人誣陷致死，齊懷王劉閎又早死，燕王認為這個皇太子的位置非他莫屬，就給他父親上書，要求回長安入宿衛準備接班。漢武帝得書勃然大怒，不但不調他入京，還削去他三個縣的封地。昭帝得立後，燕王懷疑是霍光搞的鬼，居然策劃謀反。事情敗露後，霍光殺了參與謀反的人，但沒有追究燕王。燕王並未善罷甘休，而是從此更加忌恨霍光。
漢昭帝十四歲那年，有一次，霍光率領臣屬到京城附近廣明亭去檢閱羽林軍，儀仗隊浩大莊嚴，聲威如同天子。後來，他又把一名校尉調到他的大將軍府裡。
上官桀、蓋長公主抓住霍光這兩件事，便假造一封燕王奏章，揭露霍光的非法行為。奏章的大意是說:霍光廣明亭閱軍，用天子規格的儀仗隊，並按天子規格供給飲食。他還擅自增設大將軍府的校尉等軍官，這裡面一定有陰謀，我願意率軍入京來保衛皇上，防止奸臣霍光政變。
第二天，霍光聽說燕王劉旦上書告發他，嚇得不敢進宮。昭帝問左右道:"大將軍到哪裡去了?為何不見他來呢?"上官桀報告說:"大將軍被燕王告發後，畏罪不敢進宮見皇上了。"
昭帝吩咐內侍召霍光進殿。霍光一入殿就脫下帽子，伏在地上磕頭請罪。昭帝連忙說:"大將軍請將帽子戴好。我知道是有人存心陷害你，你沒有罪。"霍光還不敢起來，磕頭問道:"陛下是怎麼知道的?"昭帝說:"這不是很清楚嗎?大將軍這次到廣明亭檢閱軍隊，只有郎官在身旁，別人不參加。而且調用校尉距離閱軍時間還不到十天，燕王遠在北方，離京師幾千裡，怎麼會知道這些事呢?就算知道了，馬上寫奏章送來，還來不及趕到這兒呢!而且大將軍掌握朝廷大權，如果真要叛亂，也用不著靠調一個校尉。可見燕王的奏章是假造的，明明是有人要陷害大將軍。"
昭帝這番入情入理的分析，竟使滿朝文武官員驚訝不已，無不佩服這個少年皇帝的聰明。
昭帝說完這番話後，立即命令左右大臣說:"你們把那個送假奏章的人抓來查問。"上官桀怕露了馬腳，就趕忙對昭帝說:"這種小事，陛下就不必再追究了。"打這以後，凡是上官桀這班人有彈劾霍光的奏章，昭帝都不予理睬，並對他們說:"大將軍是先帝遺命來輔佐我的，如果有人敢再上奏誹謗他，我將以法治罪。
上官桀這夥人碰了釘子後，便乾脆一不做二不休，策劃起刺殺霍光的陰謀來。他們的意圖是先殺了霍光，再廢掉昭帝，迎燕王為天子。
有人向霍光告發了他們的陰謀，霍光趕忙報告昭帝。結果，昭帝派兵將他們一網打盡，全部都殺了頭。從此，霍光就獨攬了朝政。
漢昭帝二十一歲就病死了，沒有子嗣，皇位繼承人選成了問題。漢武帝所生的六個兒子中，這時只剩下一個廣陵王劉胥還活著。但此人品行惡劣，不宜承繼大統。霍光就派人把武帝的孫子昌邑王劉賀迎進京來做了皇帝。
誰知這個昌邑王也是個浪蕩子，行為不軌，不像個皇帝樣子。而且他不委政於霍光，靠著他從封國帶來的那班親信，胡作非為.
霍光自然不能容忍昌邑王的行為，遂有撤換皇帝之意。他召集朝臣開會說:昌邑王劉賀自入京被立為皇帝以來，行為昏亂恐怕會危害漢朝的社稷，斷送劉家天下。我身為輔政大臣，應該首先受到責難。"眾大臣見霍光廢意已決，便聯名上書皇太后，把劉賀給廢了。霍光送走劉賀時，很傷心地對他說:"臣寧願負王，而不敢負社稷。希望大王
以後能自愛。"，
霍光與丞相、諸大臣商議，決定立漢武帝之孫、故太子劉據之子劉詢做皇帝。這位皇孫自從父親被人陷害後，一直在民間生活，此時已有十八歲，孤身一人，沒有黨羽親信，是個理想的人選。經太后批准後，霍光派人把他迎立入宮，這就是歷史上的漢宣帝。
六年後，霍光病逝。漢宣帝賜他金縷玉衣，併為他舉行了極其隆重的葬禮。霍光在昭、宣之世，前後輔政二十年，匡國家，安社稷"，天下出現大治局面。史學家班固稱讚說:"雖周公、阿衡何以加此!"
但是，霍光專權之時，對家人管束不嚴，子侄多橫行不法。在他生前，宣帝就已風聞不少，但霍氏家族控制了朝政，宣帝惟恐走上昌邑王被廢的老路，所以隱而不發，不予追究。在他死後，霍家種種劣跡也就逐漸被揭露出來。
有人告發霍傢俬自越制改修霍光陵墓，規模如同帝陵一般。不久，又有人揭發說，宣帝原配妻子許皇后是霍光妻子派人毒死的。原來，霍光的妻子想讓自己女兒做皇后，就派人在食物中投毒，毒死了許皇后此事霍光知道時，生米已煮成熟飯，就乾脆隱瞞下來。現在這一大案一經曝光，霍家就清楚，這是滔天的大罪。事已至此，霍家子侄便孤注一擲，準備發動政變，廢掉宣帝。
結果陰謀敗露，霍氏家族被滿門抄斬，連坐被誅竟達數千家之多。霍光榮耀一生，不想死後才三年，霍家就被族誅了。
