1861年，时任湘军水师师长的彭玉麟，正带领着手下的水军，在武汉和太平军打得不可开交，就在这时，一刀加急圣旨被火速送到前线，内容是皇帝让他上任安徽巡抚，相当于省长一职，对于任何人来说，这都是天大的好事，晚清很多官员苦苦追寻，都无法得到这个官位，而且彭玉麟甚至都没有科举功名，学历不够，却能担任省长一职，简直就是“祖坟上冒青烟”了。
然而彭玉麟不仅不心动，甚至还以非常坚决的态度拒绝了朝廷的任命，不管曾国藩怎么苦口婆心地劝说，都说服不了彭玉麟的决心，不但如此，彭玉麟还向朝廷上报了自己辞官的理由。
首先便是自己“学历不够”，只懂得带兵打仗，对做巡抚的那一套一无所知，害怕自己无法胜任，最终害国害民；
其次，当前正是国家用兵之际，自己擅长率领水师作战，若是去当巡抚，对国家而言，是一种损失；
最后，他认为自己不懂圆滑变通，无法把巡抚这份工作做到朝廷预期的高度。
奏折递上去之后，朝廷不但没有责怪彭玉麟，还认为彭玉麟这样的人才相当难得，所以并不打算放过他，继续派曾国藩劝说彭玉麟，然而彭玉麟依旧是左耳朵进右耳朵出，曾国藩最后实在没了办法，只好替彭玉麟说清，以水师不能没有彭玉麟领导为由，打消了朝廷让他做巡抚的念头。
然而这次辞官，只是彭玉麟一生辞官多次的开头。
根据历史学者李志茗的统计，彭玉麟实际辞官共计八次，请求开缺回籍共计就此，请求开出差使职务共计六次，一生辞官共计23次！1864年，彭玉麟辞任漕运总督
当时湘军已经打败了太平军，朝廷自然要封赏湘军，特别是彭玉麟的水师，在战争中起了非常关键的作用，彭玉麟因此被任命为漕运总督，是一个相当肥硕的差事，所有人都看着眼红，他却眼睛都不眨一下，就把漕运总督辞了，然而朝廷依旧没有放过他，催他赶快上任，不想彭玉麟急了眼，索性连兵部侍郎这一挂职也要一并辞掉。
理由是太平军已灭，自己当初投军的志向一了，是时候回家养老了，朝廷这下拿彭玉麟没了办法，只好答应他的请求，让他回家休养，但巡视长江水师的工作，却依旧落在了他的身上。
1881年，辞任两江总督
两江总督刘坤被召回入京，职位空缺时，朝廷最先想到的职位继承者就是彭玉麟，而两江总督的地位，仅次于当时的直隶总督。
彭玉麟也明白朝廷对自己的看重，但他依旧不为所动，上交辞呈，理由也是越来越多，甚至还说自己“愿以寒士始，愿以寒士终”。朝廷最终拿这个官场另类束手无策，只好改任左宗棠。
1883年，辞任兵部尚书
此时的彭玉麟已经67岁高龄，朝廷面对这个医生功勋无数，却什么封赏都不要的老臣，实在心中有愧，就想着在他对修之前将其提拔一凡，好提升一下彭玉麟的退休待遇。于是就任命彭玉麟为兵部尚书。
但彭玉麟依旧初心不变，不断强调自己年事已高，想要回家养老，然而还没等朝廷同意，晚清南疆地区传来战况，中发战争爆发，彭玉麟立马收回之前的话，不仅不辞官了，而且还要亲自出马，带领军队奔赴战场。
彭玉麟的做法，让朝中很多认为他是自命清高，沽名钓誉的大臣们，改变了对他的看法，这其中就有张之洞，“加官不拜，久骑湖上之驴；奉召即行，誓翦海中之鳄。这是张之洞对彭玉麟的评价。
中法战争最终没能取得胜利，在彭玉麟要离开广东之际，张之洞对其十分不舍，决意要拜彭玉麟为师，然而彭玉麟自愧不如，果断拒绝。
虽然这段师徒关系并没有建立，但从张之洞的态度就可以看出，彭玉麟的能力非常人能比。
然而中法战争的结局让这位老将深受打击，身体从此每况愈下，于是他又开始了辞官之路，但不论如何，朝廷都不允许彭玉麟辞去巡视长江水师的差使，这位被认为是晚清海军的奠基人，到了晚年，依旧不辞辛苦地坚守岗位，在最后一次巡视时，安徽巡抚看到已经步履蹒跚的彭玉麟，于心不忍，亲自上奏朝廷彭玉麟的情况，这才让晚清政府放过了彭玉麟，让其终于能够安享晚年。