漢昭帝雖然聰明，但身體太差，二十一歲就去世了，沒有兒子。那麼問題又來了，該立誰為皇帝。這時漢武帝的兒子中只剩下一個廣陵王劉胥。大臣們都主張立他為皇帝，但霍光不想立他，原因很簡單，霍光剛剛把他哥哥劉旦扳倒，自然不可能立劉旦的弟弟。正好這時有人上書，“古公廢太伯而立季歷，文王捨棄伯邑考而立武王，只要是對國家有利，即使廢長立幼也是可以的。”霍光看到這封上書非常高興，當天就奉皇太后（霍光的外孫女）的詔令，把昌邑王劉賀接到長安當皇帝。劉賀是劉髆的兒子，也就是漢武帝的孫子，在霍光心裡他是最合適的。但事實上劉賀這個人很不靠譜，他當皇帝只有二十七天，派人到各地去要東西就有一千二百多次。大臣勸他，就把大臣關進監獄。霍光一看實在太不像話，就跟張安世、田延年商量，打算把劉賀廢掉。
張安世是張湯的兒子，因為張湯的緣故出任郎官。張安世為人忠厚，霍光很器重他，在除掉上官桀等人後，霍光把他提拔起來。田延年是戰國時齊國王室的後代，能力很強，霍光就把他招到自己的幕府中。這裡要說一下幕府制度，所謂“幕府”是將軍出征時用的帳幕。秦漢時期，官制還不完備，官員很難獨立完成朝廷交代的任務，所以官員們就自己招聘人員，但這些人是沒有編制的，等於是官員的私人勢力。霍光的家鄉河東郡治安不好，霍光就派田延年為河東太守。田延年到任之後，提拔人才，執法嚴格，很快把河東郡治理得井井有條。霍光就把田延年調到長安，擔任大司農，主管全國財政。
田延年說：“您是國家的柱石，既然發現這個人不行，為什麼不稟明太后，另一個賢君？”霍光說：“我想這麼幹，但不知道歷史上有沒有先例？”田延年說：“伊尹當商朝丞相的時候，就廢掉了太甲，後人都稱讚他。您如果也能這麼做，就是漢朝的伊尹。”霍光得到了田延年和張安世的支持後，召集大臣開會。霍光說：“昌邑王昏庸淫亂，這樣下去國家就危險了，你們看怎麼辦？”大臣們一聽都懵了，不敢說話。這時需要有人站出來，田延年離開座位走上前來，手按住劍，衝霍光喝道：“先帝把孤兒和天下託付給將軍，是因為將軍賢能，能夠保劉氏的天下。如今百姓鼎沸，國家將要傾覆，將軍即使以死謝罪，有什麼臉面到九泉之下去見先帝呢？今天的事，應該立即解決，群臣如果有拖延回答的，我請求用這把劍斬了他。”這番話說得非常巧妙，表面上是指責霍光，其實是逼著大臣們表態。大臣們這時紛紛表示同意，於是霍光就帶著大臣們去見太后，把情況一說。
太后就召見昌邑王，同時告訴宮門守衛不要放昌邑王的人進來。昌邑王進宮後，霍光讓張安世把昌邑王的人都抓起來。昌邑王到太后面前，霍光和大臣們彈劾他的奏章在大殿上宣讀,昌邑王就被廢掉了。昌邑王的人都被殺，這些人被拉出去處死的時候，哭喊到道：“當斷不斷，反受其亂。”後來漢宣帝繼位後，封劉賀為海昏侯。
