淳熙八年，辛弃疾在江西上饶建造了一座规模庞大的庄园——稼轩。园林完工之后，朱熹进去看了，大惊失色，庄园的奢华是他闻所未闻的。另外除原配夫人外，辛至少有整整、钱钱、田田、香香、卿卿、飞卿等六位侍妾（这夫人感觉有假，怎么起这么随便的名字）。养这么多侍妾，花费巨大，可辛在被罢官的十几年来，从来没有为经济问题发过愁。
在平常交友时，他依然表现的十分阔绰，对新结交的朋友刘过，辛弃疾不仅款待其一月有余，先馈赠百千，临别又周之千缗。要维系这么奢侈的生活，肯定需要大笔的财富。可辛弃疾既不是出身巨富之家，也没有一个有钱的岳父。
而光凭那些俸禄，显然连那个庄园都盖不起。而辛弃疾几次被弹劾，也都有“横征暴敛”的罪名。在1205年，辛弃疾更是被弹劾“弃疾好色贪财，淫刑聚敛”，惨遭免官。如果说一次弹劾，可以归结为政敌的打击。可是一次又一次的弹劾，都有贪污的罪名。辛弃疾“贪官”的罪名大概可以坐实了。