公元581年，北周的外戚楊堅逼迫自己的外孫周靜帝禪讓，自己即位。楊堅就是歷史上赫赫有名的隋文帝，隋文帝楊堅即位後改年號為開皇，這標誌著北方大地經歷了近三百年的戰亂後，重新回到漢人手中。
公元589年，隋文帝又派大軍南下滅陳，腐朽的南陳隨即被隋朝所滅。從此以後，中華大地重歸一統，然而這三百多年的分裂，使得南、北中國的制度截然不同。
因此，對隋文帝來說，他的當務之急就是重新建立新的行政制度適應大一統。
在前面的文章裡我們講到，南北朝後期，州的數量已經從東漢末年的十三個衍生至上百個，有的州只管轄一到兩個郡，甚至還存在兩個州共管一郡、一縣的情況。
在這種情況下，郡就完全沒有了存在的必要性。因為政區的混亂，對治理國家來說是個很大的障礙，早在隋朝剛取代北周的時候，大臣楊尚希就注意到了這一情況，他上書隋文帝：
“現在的郡縣比過去多了很多倍，有的地方不到百里方圓，居然設立了好幾個縣，有的地方戶數還不及一千，竟然要由兩個郡來管理。”
因此，他建議要徹底整頓行政區劃，而整頓的原則是“存要去閒，並小為大”。隋文帝很讚賞他的建議，隋文帝沒有再延續東漢末年以來“州—郡—縣”的三級制，而是去掉中間一級的郡，將行政制度化為兩級制度。這便是“罷天下諸郡”。
隋朝的州縣制其實和秦漢的郡縣制一樣，兩級制度的好處就是中央的政令可以很容易下達到地方，而地方上不會再有一家獨大的勢頭，避免了漢末以來州刺史手握重兵、割據一方的事情。
隋滅陳後，又將這一制度推行到陳朝故地，從此全國都成為了兩級制。
隋文帝的改革雖然有一些成效，但依然不能算作是徹底解決了州縣過多的問題，因為自南北朝以來，州、縣的數量急劇增加，但區劃變得很小，僅僅是州就有三百多個。而州縣兩級制的核心就是要讓中央直接管轄州，如此大的規模要讓中央來直接管轄，顯然是難度太大。
但是隋文帝沒能繼續精簡行政機構，這一工作是由隋煬帝完成的。公元607年，隋煬帝大業三年，煬帝下令將一些州縣省並，隨後又改州為郡，又回到了郡縣制。隋煬帝的這次調整，效果是立竿見影的，一年以後，全國的郡就減少至一百九十多個，縣則是一千二百五十五個，比起南北朝時期，情況好太多了。
再來說說隋朝時期郡一級的官員設置，首先最高行政官員還是太守，郡丞輔佐太守。後來，在太守之下，郡丞之上又設置了通守來監視太守。與漢朝的上計制度類似，隋朝的太守要親自或者派人進京述職，這叫做朝集使。
與漢朝太守不同的是，隋代太守在軍事上沒有話語權。隋朝地方軍權由都尉、副都尉統轄，太守和都尉分掌民、軍。
