御史中丞为掌管奏劾及监察之职官，其渊源可追溯到秦代。秦时所立御史大夫有二丞，一为御史丞，一为御史中丞。此时御史中丞分管图书秘籍，兼受公卿奏事及举劾之事。汉承秦制，以御史中丞为御史大夫之佐官，也称御史中执法。因受理公卿奏事并举劾案章，权力颇重。汉成帝绥和元年(公元前8年)，改御史大夫为大司空，而仍设御史中丞。后改置御史台，御史台主官名御史长史，即前御史中丞。御史长史与尚书令、司隶校尉合称为“三独坐”，地位尊显。三国继续设置，魏文帝曾改名为宫正，后又改称御史中丞。两晋及南朝时沿置，北魏则改为御史中尉，北齐恢复御史中丞之名。北周设有司宪中大夫二人，掌管司寇之法，官职相当于御史中丞。
御史中丞一职，自东汉至南北朝权力逐渐加重，至于纠察皇太子以下百官。但东晋、南朝门阀大族将其视作浊官，而不愿担任。
虽然御史中丞官职权力很重，但是这个官职是一个负责监察、弹劾的官职，非常容易得罪人。南齐之时的御史中丞刘休就曾经上书萧道成称：“臣自尘荣南宪，星晷交春，谬闻弱奏，劾无空月。岂唯不能使蕃邦敛手，豪右屏气，乃遣听已暴之辜，替网触罗之鸟。而犹以此，里失乡党之和，朝绝比肩之顾，覆背腾其喉唇，武人厉其觜吻。怨之所聚，势难久堪；议之所裁，孰怀其允？臣窃寻宋世载祀六十，历职斯任者五十有三，校其年月，不过盈岁。于臣叨滥，宜请骸骨。”
刘休表示，自从当了御史中丞之后，他每个月都要弹劾纠察官员，导致乡党不和、朝中人都视之如仇，没人愿意和他走在一起，这个职位实在是“怨之所聚”，不能长久的干下去。而且刘宋六十年中，御史中丞就换了五十三个人，算起来，一个人也就才干了一年多一点，现在他干得时间也够长了，应该换人了。
可是，萧道成却表示：“卿职当国司，以威裁为本，而忽惮世诮。卿便应辞之事始，何可获惰晚节邪？”你是为国效力，为国家监察百官，怎么可以顾忌人言人语呢，你为朝廷尽心尽力了一辈子，怎么可以到了晚年就懈怠不干了。
正因为御史中丞经常弹劾别的官员，所以会与其他官员结怨，遭受报复，“中丞案裁之职，被宪者多结怨。”除了政治上的打击报复外，有些人还会铤而走险以其他手段进行。
比如沈渊任御史中丞的时候，弹劾吴兴太守袁彖，几年后，袁彖的堂弟袁昂任御史中丞，袁昂到任才几天，就弹劾沈渊的儿子沈缋父亲还没去世就雇佣白幰车，沈缋因此免官禁锢。
沈渊与兄沈淡、弟沈冲兄弟三人都当过御史中丞，这种殊荣，晋宋都未有过。但是他们的母亲孔氏一直担心遭人报复，吴兴老家的邻居失火，孔氏就怀疑别人有意放火延烧她家，大呼曰：“我三儿皆作御史中丞，与人岂有善者！”