1861年，時任湘軍水師師長的彭玉麟，正帶領著手下的水軍，在武漢和太平軍打得不可開交，就在這時，一刀加急聖旨被火速送到前線，內容是皇帝讓他上任安徽巡撫，相當於省長一職，對於任何人來說，這都是天大的好事，晚清很多官員苦苦追尋，都無法得到這個官位，而且彭玉麟甚至都沒有科舉功名，學歷不夠，卻能擔任省長一職，簡直就是“祖墳上冒青煙”了。
然而彭玉麟不僅不心動，甚至還以非常堅決的態度拒絕了朝廷的任命，不管曾國藩怎麼苦口婆心地勸說，都說服不了彭玉麟的決心，不但如此，彭玉麟還向朝廷上報了自己辭官的理由。
首先便是自己“學歷不夠”，只懂得帶兵打仗，對做巡撫的那一套一無所知，害怕自己無法勝任，最終害國害民；
其次，當前正是國家用兵之際，自己擅長率領水師作戰，若是去當巡撫，對國家而言，是一種損失；
最後，他認為自己不懂圓滑變通，無法把巡撫這份工作做到朝廷預期的高度。
奏摺遞上去之後，朝廷不但沒有責怪彭玉麟，還認為彭玉麟這樣的人才相當難得，所以並不打算放過他，繼續派曾國藩勸說彭玉麟，然而彭玉麟依舊是左耳朵進右耳朵出，曾國藩最後實在沒了辦法，只好替彭玉麟說清，以水師不能沒有彭玉麟領導為由，打消了朝廷讓他做巡撫的念頭。
然而這次辭官，只是彭玉麟一生辭官多次的開頭。
根據歷史學者李志茗的統計，彭玉麟實際辭官共計八次，請求開缺回籍共計就此，請求開出差使職務共計六次，一生辭官共計23次！1864年，彭玉麟辭任漕運總督
當時湘軍已經打敗了太平軍，朝廷自然要封賞湘軍，特別是彭玉麟的水師，在戰爭中起了非常關鍵的作用，彭玉麟因此被任命為漕運總督，是一個相當肥碩的差事，所有人都看著眼紅，他卻眼睛都不眨一下，就把漕運總督辭了，然而朝廷依舊沒有放過他，催他趕快上任，不想彭玉麟急了眼，索性連兵部侍郎這一掛職也要一併辭掉。
理由是太平軍已滅，自己當初投軍的志向一了，是時候回家養老了，朝廷這下拿彭玉麟沒了辦法，只好答應他的請求，讓他回家休養，但巡視長江水師的工作，卻依舊落在了他的身上。
1881年，辭任兩江總督
兩江總督劉坤被召回入京，職位空缺時，朝廷最先想到的職位繼承者就是彭玉麟，而兩江總督的地位，僅次於當時的直隸總督。
彭玉麟也明白朝廷對自己的看重，但他依舊不為所動，上交辭呈，理由也是越來越多，甚至還說自己“願以寒士始，願以寒士終”。朝廷最終拿這個官場另類束手無策，只好改任左宗棠。
1883年，辭任兵部尚書
此時的彭玉麟已經67歲高齡，朝廷面對這個醫生功勳無數，卻什麼封賞都不要的老臣，實在心中有愧，就想著在他對修之前將其提拔一凡，好提升一下彭玉麟的退休待遇。於是就任命彭玉麟為兵部尚書。
但彭玉麟依舊初心不變，不斷強調自己年事已高，想要回家養老，然而還沒等朝廷同意，晚清南疆地區傳來戰況，中發戰爭爆發，彭玉麟立馬收回之前的話，不僅不辭官了，而且還要親自出馬，帶領軍隊奔赴戰場。
彭玉麟的做法，讓朝中很多認為他是自命清高，沽名釣譽的大臣們，改變了對他的看法，這其中就有張之洞，“加官不拜，久騎湖上之驢；奉召即行，誓翦海中之鱷。這是張之洞對彭玉麟的評價。
中法戰爭最終沒能取得勝利，在彭玉麟要離開廣東之際，張之洞對其十分不捨，決意要拜彭玉麟為師，然而彭玉麟自愧不如，果斷拒絕。
雖然這段師徒關係並沒有建立，但從張之洞的態度就可以看出，彭玉麟的能力非常人能比。
然而中法戰爭的結局讓這位老將深受打擊，身體從此每況愈下，於是他又開始了辭官之路，但不論如何，朝廷都不允許彭玉麟辭去巡視長江水師的差使，這位被認為是晚清海軍的奠基人，到了晚年，依舊不辭辛苦地堅守崗位，在最後一次巡視時，安徽巡撫看到已經步履蹣跚的彭玉麟，於心不忍，親自上奏朝廷彭玉麟的情況，這才讓晚清政府放過了彭玉麟，讓其終於能夠安享晚年。
