抗倭名將戚繼光早些年的時候，他和妻子王氏感情深厚，然而經過十幾年來，其妻子所生的孩子全部不幸夭折在那個信奉“不孝有三、無後為大”的年代，戚繼光非常的想要一個孩子，但是不敢跟妻子說，最後他只好瞞著妻子，在12年先後偷偷納妾三人，納的妾也先後給他生了五個兒子。多年以後，王氏還是發現了，心裡無比的痛苦，使得王氏做出了手持比首要去殺丈夫的事，但最後夫妻兩人還是抱頭痛哭。後來，經過一家人的商榷，最後把小妾所生的兒子戚安國過繼給王氏撫養，才算了一樁心事。然而，當他回到家後，兒子戚安國也病逝了，王氏萬念便灰、離家出走。正因為這樣，在他的晚年，就愈發孤獨和落寞。
戚繼光被罷官後，北方的蒙古人仍然不時入侵，東北的女真人正在崛起，但大明國卻仍然醉生夢死。由於這時候的他太孤獨了，就經常登上東海邊的蓬萊閣，靜靜的看著遠處大海發呆，常常想自己的當年熱血事蹟，有時候也跟他的兒子們講講自己如何抗擊倭寇、征戰蒙古、護衛邊疆的往事。不管多麼壯懷激烈，這個時候都化成了白髮感慨和無語滄桑。
戚繼光在被從廣東罷官後的第三年，即1587年一篇獻寫給家廟的祝文中，他向祖先價彙報總結自己的一生：“雖用祖宗之積已多，未能為之益，亦未敢為祖宗累也。”他將是前後數百年中，戚氏家族最大的榮耀，然而他還是如此謙遜，而這也更是一種經歷戎馬風雨和政治運動後，更多的是戚繼光對自己晚年孤獨落寞的無聲感慨。
在野史的傳說中，說他曾經買過“千金姬”進獻給張居正；似乎為了辦事，有時也“手段特殊”；而寫《明史》的張廷玉等人，則說戚繼光瞞著老婆娶妾“操行不如”。然而歷史的現實是，他一生奉公愛民，對有困難的部將和士卒慷慨解囊、傾情相助，自己卻在晚年被罷官返鄉後，一貧如洗，臨死前，甚至連看病買藥的錢都沒有，連一個郎中都請不起。一直到他死後，人們才發現，戚繼光“四提將印，佩玉三十餘年，野無成田，載無宿嫉，惟集書數千卷而已”。這與那些不惜汙衊他的政治對手們傾力傳播的故事和傳說相去甚遠。
