汉元帝的皇后叫王政君。在汉元帝还是太子时，有一位非常宠爱的妃子叫司马良娣。公元前54年，司马良娣病死了，临死前对刘奭说：“我是因为别的妃子得不到宠爱，诅咒我才死的。”刘奭很伤心，所以把其他妃子拒之门外。汉宣帝知道后，就让皇后挑选几个宫女给太子。皇后就挑了五个宫女，其中就有王政君。太子不感兴趣，却又不好拒绝，所以说：“其中一个还可以。”王政君当时坐在太子边上，穿得又跟别人不一样，所以大家以为说的是她，就把王政君送进了太子宫。
王政君虽然是个宫女，但出身不一般，她的父亲叫王禁，祖上据说是齐国的田氏。齐国灭亡后，田氏仍被当地人叫“王家”，后来就干脆改姓王。王禁这个人比较好色，有好几个老婆，生了四女八男。因为王政君的缘故，后来王家成了西汉后期影响政局的重要力量。外戚干政是西汉后期的主要问题，也是西汉灭亡的主要因素。其实外戚问题在汉宣帝时，就已经有些苗头了，当时的外戚是史家和许家，只是因为宣帝把权力抓得比较牢，所以外戚干政的现象还不明显。
王政君到太子宫中不久就怀孕了，汉宣帝非常高兴，因为太子的妃子没有一个怀孕的。在公元前51年，王政君生下了刘骜（ao二声），就是后来的汉成帝。
汉元帝当皇帝这段时间，汉朝可以说是多灾多难。他刚继位不久就发生了多次地震，然后又是瘟疫流行，接着又发大水。到处闹饥荒，老百姓没有吃的，甚至有人吃人的情况。当时讲“天人感应”，所以灾祸多了，就是皇帝有过错。有人上书汉元帝把责任推到大臣身上。汉元帝于是多次把丞相御史找来责备，说他们没有尽到职责。当时的丞相是于定国，于定国很惶恐，于是请求告老还乡。汉元帝挽留他，但于定国坚决要求辞职回乡，汉元帝也就同意了。
接替于定国担任丞相的人叫韦玄成，他的父亲就是宣帝时的丞相韦贤。韦玄成这个人名声很好，年轻时候学习儒学，通晓儒家经典，为人特别谦虚恭敬。韦玄成有三个哥哥，大哥很早去世，二哥韦弘（负责宗庙祭祀，管理各处陵墓）本来是应该继承父亲爵位的，但是他因为宗庙的事情进监狱了。后来韦贤病重了，家里问他谁继承爵位，他却不说，所以族人商量让韦玄成继承。韦玄成知道父亲想让二哥继承，于是装疯卖傻。当时的丞相、御史认为韦玄成没病装病，所以弹劾他。但汉宣帝觉得他很有操守，反而让他当河南太守。韦玄成跟杨恽关系很好，杨恽被杀后，韦玄成被免官了。公元前51年，汉宣帝在皇家藏书的地方叫石渠阁召开会议（就叫石渠阁会议），把比较有名的儒生召集来讨论“五经”的异同，目的是进一步统一儒家学说。参加会议的有萧望之、刘向、周堪等人，韦玄成是当时著名的儒生自然也在其中。因为韦玄成和他父亲韦贤都是通晓儒学当的丞相，所以当时有说法“遗黄金满籝，不如教子一经”。
面对这些灾害，汉元帝一方面进行救灾，一方面不断大赦天下。这就很有问题，导致了犯罪的行为大大增加。因为知道经常会大赦天下，即使犯罪也不过是关进监狱一段时间就放出来，这样刑罚就失去了惩戒的作用，社会就十分的混乱。汉元帝的问题在于教条化地遵循儒家思想，在人们的思想水平没有达到一定高度时去实行儒家政策，所以效果很差。在朝廷外不能安定百姓，在朝廷内部不能任用贤能。
