漢元帝的皇后叫王政君。在漢元帝還是太子時，有一位非常寵愛的妃子叫司馬良娣。公元前54年，司馬良娣病死了，臨死前對劉奭說：“我是因為別的妃子得不到寵愛，詛咒我才死的。”劉奭很傷心，所以把其他妃子拒之門外。漢宣帝知道後，就讓皇后挑選幾個宮女給太子。皇后就挑了五個宮女，其中就有王政君。太子不感興趣，卻又不好拒絕，所以說：“其中一個還可以。”王政君當時坐在太子邊上，穿得又跟別人不一樣，所以大家以為說的是她，就把王政君送進了太子宮。
王政君雖然是個宮女，但出身不一般，她的父親叫王禁，祖上據說是齊國的田氏。齊國滅亡後，田氏仍被當地人叫“王家”，後來就乾脆改姓王。王禁這個人比較好色，有好幾個老婆，生了四女八男。因為王政君的緣故，後來王家成了西漢後期影響政局的重要力量。外戚干政是西漢後期的主要問題，也是西漢滅亡的主要因素。其實外戚問題在漢宣帝時，就已經有些苗頭了，當時的外戚是史家和許家，只是因為宣帝把權力抓得比較牢，所以外戚干政的現象還不明顯。
王政君到太子宮中不久就懷孕了，漢宣帝非常高興，因為太子的妃子沒有一個懷孕的。在公元前51年，王政君生下了劉驁（ao二聲），就是後來的漢成帝。
漢元帝當皇帝這段時間，漢朝可以說是多災多難。他剛繼位不久就發生了多次地震，然後又是瘟疫流行，接著又發大水。到處鬧饑荒，老百姓沒有吃的，甚至有人吃人的情況。當時講“天人感應”，所以災禍多了，就是皇帝有過錯。有人上書漢元帝把責任推到大臣身上。漢元帝於是多次把丞相御史找來責備，說他們沒有盡到職責。當時的丞相是於定國，於定國很惶恐，於是請求告老還鄉。漢元帝挽留他，但於定國堅決要求辭職回鄉，漢元帝也就同意了。
接替於定國擔任丞相的人叫韋玄成，他的父親就是宣帝時的丞相韋賢。韋玄成這個人名聲很好，年輕時候學習儒學，通曉儒家經典，為人特別謙虛恭敬。韋玄成有三個哥哥，大哥很早去世，二哥韋弘（負責宗廟祭祀，管理各處陵墓）本來是應該繼承父親爵位的，但是他因為宗廟的事情進監獄了。後來韋賢病重了，家裡問他誰繼承爵位，他卻不說，所以族人商量讓韋玄成繼承。韋玄成知道父親想讓二哥繼承，於是裝瘋賣傻。當時的丞相、御史認為韋玄成沒病裝病，所以彈劾他。但漢宣帝覺得他很有操守，反而讓他當河南太守。韋玄成跟楊惲關係很好，楊惲被殺後，韋玄成被免官了。公元前51年，漢宣帝在皇家藏書的地方叫石渠閣召開會議（就叫石渠閣會議），把比較有名的儒生召集來討論“五經”的異同，目的是進一步統一儒家學說。參加會議的有蕭望之、劉向、周堪等人，韋玄成是當時著名的儒生自然也在其中。因為韋玄成和他父親韋賢都是通曉儒學當的丞相，所以當時有說法“遺黃金滿籝，不如教子一經”。
面對這些災害，漢元帝一方面進行救災，一方面不斷大赦天下。這就很有問題，導致了犯罪的行為大大增加。因為知道經常會大赦天下，即使犯罪也不過是關進監獄一段時間就放出來，這樣刑罰就失去了懲戒的作用，社會就十分的混亂。漢元帝的問題在於教條化地遵循儒家思想，在人們的思想水平沒有達到一定高度時去實行儒家政策，所以效果很差。在朝廷外不能安定百姓，在朝廷內部不能任用賢能。
