一、實行“三級制”的時代背景

新中國政權穩定後，國家將工作的重心轉移到國民經濟建設和社會發展上來，原有的五級制在政治、經濟、財政等方面並不利於國家發展，中央政府開始精簡地方政府層級，取消了大區建制和小區建制，形成了省-縣-鄉三級制。

大行政區是戰爭年代向和平年代過渡時期的一種建制。隨著政局的穩定，大區制不僅失去了存在的政治社會基礎，而且成為和平年代國家治理的障礙。

作為高層政區的大區面積大而數量少，國家在政治上不易控制。有鑑於此，國家加快了撤銷大區制的步伐。1952年11月15日，中央人民政府第19次會議作出關於改變大行政區人民政府機構和任務的決定，把大行政區人民政府一律改為行政委員會，作為中央人民政府的派出機構。

二、大區的撤銷和省的恢復

為了配合撤銷大區制的工作，從1952年8月開始，國家陸續對大區制時期調整的省區進行了恢復，主要有：

撤銷皖北、皖南2行署區，恢復安徽省；撤銷川東、川西、川南、川北4行署區，恢復四川省；撤銷察哈爾省，轄區分別劃入河北省和山西省；撤銷蘇南、蘇北2行署區，恢復江蘇省；撤銷平原省，轄區分別劃入河北省、河南省和山東省；撤銷遼西、遼東兩省，恢復遼寧省；撤銷松江省，併入黑龍江省；撤銷緩遠省，併入內蒙古自治區。

1954年6月19日，中央政府通過了《中央人民政府關於撤銷大區一級行政機構和合並若干省、市建制的決定》，撤銷了6大區行政機構，各省級單位改由中央直轄。

1954年9月20日，第一屆全國人民代表大會第一次會議通過《中華人民共和國憲法》，明確了省作為中國最高一級行政區的憲法地位。

至1955年7月撤銷熱河省和西康省之後，中華人民共和國成立前後曾一度新設的一些省和行署區已全部被撤銷。

三、1953年各地開始大規模並鄉

通過調整，到1954年全國鄉的總數降到218721個，基本恢復到1951年實行小鄉制前的水平。1954年頒佈的《中華人民共和國地方各級人民代表大會和地方各級人民委員會組織法》規定，縣人民委員會在必要的時候，經省人民委員會批准，可以設立若干區公所，作為它的派出機關，由此明確了區的派出機關的性質。

1955年底，國務院進一步要求調整小區小鄉，各地陸續對鄉的規模進行了全面調整，平原地區以原3—4個鄉合併為1個，人口在10000至15000人之間，丘陵地區以原2個鄉合併為1個，人口在6000至10000人之間，山區一般不動，個別的由2個鄉合併為1個，人口在2000—3000人，到1957年，全國鄉建制減少到95843個。