隋唐建立后,正式把服饰的颜色作为区别贵贱尊卑的种手段。 太宗贞观年间规定:皇帝就穿黄色的龙袍，百官中，三品以上服紫，四品五品服绯(深红),六晶七品服绿,八品九品服青。以后各朝代均大体沿袭此法。可见,绿色青色排名最后,在官场上是低贱的代表。
当年白居易被贬为江州郡司马，官列九品,所以(琵琶行》诗中用"青衫”代称。他的《忆微之》诗云:“折腰俱老绿衫中”,形容仕途坎坷，人老白首仍屈身于低微的绿衫行列中。而在民间,
这两种颜色也是象征着低贱的行业。比如元明两代，乐人妓女必须着绿服、青服、绿头巾,而《元典章》更是规定,娼妓的家长和亲属男子须裹青头巾。由此，“青头巾”就与娼妓的男性亲属有了联系,后来扩大为指妻子有不贞行为的男人。由于青、绿二色比较接近又同属贱色，而现在人们也不带头巾改藏帽子，于是又逐渐演变成了“绿帽子”。
绿帽子的由来大约是从元朝开始的。当时的蒙古是没有娼妓的，等到挥军南下进了中原，就很是看不惯号称礼仪之邦的中原人开设的妓院了。于是元朝统治者规定妓女着紫衫,在妓院里做工的男人戴绿头巾,以示与正常人的区别。延续至今,就诞生了中国男人最怕的一顶帽子 :绿帽子。