吳佩孚在1931年來到北平，張學良以子侄的身份，將他安置在東四什錦花園衚衕裡，每個月給予4000元的生活費，當時日本人正想方設法要收買漢奸為他們服務，吳佩孚雖然大勢已去，但好歹也是曾經左右過政局的人物，在華北和兩湖地區仍然有一定的號召力，而且他反蔣又反共，日本人自然認為他是最佳目標之一。
在來北平之前，吳佩孚的主力被北伐軍全部消滅，他逃亡倒四川軍閥楊森處住下，那時日本海軍第一遣外艦隊特務長就曾經拜見過吳佩孚，表示願意奉送步槍機槍和大炮等軍用物資，並可以提供資金助吳佩孚東山再起，但被吳佩孚斷然拒絕，當時吳佩孚那樣需要幫助都拒絕了日本人，現在寓居北平，更不會屈從日本人了。
只不過國民政府對吳佩孚戒心很重，害怕他會和日本人勾結，1933年，蔣介石也曾兩次邀請吳佩孚南下居住，吳佩孚也加以回絕——其實在第二次直奉戰爭結束之後，吳佩孚和張作霖曾經聯合起來對付馮玉祥，吳佩孚這時便希望張學良能夠幫他東山再起，誰想張學良給他的房子和生活費全都是出於蔣介石的授意，之後蔣介石與吳佩孚便慢慢地有所往來，吳佩孚還得到孔祥熙給予的一筆十萬元的生活費。
只是日本人對吳佩孚的策反也一直沒有放鬆，七七事變之後，大迫通貞、川本芳太郎等日本高級特務紛紛上門拜訪，連土肥原賢二都親自登門，吳佩孚今時不同往日，自然不會直接回絕，而是通過迂迴的方式不肯同意，最後甚至開出了要建立自己的軍隊和政府，並且要做和日本天皇平起平坐的大總統，這自然是日本人不可接受的。
在這種情況下，土肥原賢二使出了陰招，他派人放出謠言，說吳佩孚已經答應出任“和平救國委員會”（漢奸組織）的魏元忠，還邀請了一百多個記者，並且替吳佩孚準備好了演講稿，結果吳佩孚上了臺，把演講稿丟到一邊，大談日本應該無條件撤兵，中華民國應該保持領土和主權完整，並說日本應該把重慶國民政府作為全面議和的交涉對象，氣得土肥原賢二直接動用武力手段，把英美記者的高見扣下，並且不讓新聞界刊登吳佩孚的講演，不過，海外和中國非淪陷區仍然照實報道了這次招待會的真相。
這次的事情之後，日本人仍然不肯善罷甘休，川本芳太郎自稱吳佩孚弟子，汪精衛也多次上門拜訪，但吳佩孚始終不為所動，這讓日本人終於決定對他下手。1939年11月24日，吳佩孚在吃晚飯時，一顆小石頭卡在牙齒裡，十分疼痛，吳佩孚的家人請牙醫前來，結果來的是一名日本牙醫，上來就把吳佩孚的一顆槽牙沒上麻藥給拔了，吳佩孚疼得昏死過去。
第二天請了中醫來，但是吳佩孚的病情一天天加重，必須要開刀，但是開刀又會落入日偽的手中，所以吳佩孚沒有同意，到了12月4日，吳佩孚的秘書張伯倫到臥室看望吳佩孚，吳佩孚已經幾乎說不出話，但還是艱難地說：“死，死了好，死了好……”
說完又閉上了眼睛，張伯倫將耳朵湊到吳佩孚的跟前，吳佩孚掙扎著說：“將來日美必有一戰，中國定可雪恥報仇。”這句話便成為了吳佩孚的臨終遺言——他對當時戰局的把握，可謂是洞若觀火。
可是日本人是決意不肯放過他的，這天下午，日本派一聲強行為吳佩孚開刀，吳佩孚就在這天下午的三點我是五分去世，享年六十五歲。吳佩孚晚年所展現出來的民族氣節，值得我們稱頌。
