密度敏感鲁棒模糊核主成分分析算法

主成分分析(PCA)和为解决非线性数据而提出的核主成分分析(Kernel PCA)作为基于统计学的降维和特征提取方法,在图像分割,数据检测,人脸识别等领域取得了良好效果。


传统的PCA算法主要是以协方差矩阵为基础,通过计算其特征值和特征向量得到主元分布。但是,由于协方差矩阵是一个不稳健的估计量,对野性样本点非常敏感,因此当样本数据中存在野性样本点时,由于野性样本点远离数据中心,方差较大,从而导致协方差矩阵发生变化,随之影响主元的分布。


密度敏感鲁棒模糊核主成分分析算法

密度敏感鲁棒模糊核主成分分析算法

传统PCA算法对有无野性样本点数据集的主成分分布图


为了解决传统PCA存在的上述缺陷,有学者提出了鲁棒模糊PCA算法(RFPCA)和鲁棒核模糊PCA算法(RFK-PCA),它们通过给野性样本点赋予较小的隶属度来减弱其对主元分布的影响,从而提高算法的稳定性。但它们存在以下问题:


1.极易陷入局部极小解且因模糊隶属度的更新方向也非最优梯度方向,使得算法分类性能的提升并不明显

2.由于该算法重构误差的计算公式较为复杂,从而导致算法运行时间过长。

针对以上问题,本文问题出一种密度敏感鲁棒模糊核主成分分析算法(DRF-PCA),该算法:

1.首先通过引入相对密度确定样本初始隶属度,并构建出基于重构误差的隶属度确定方法,同时采取最优梯度下降法实现隶属度的更新,有效解决了传统核主成分分析算法对野性样本点敏感导致的主成分偏移等问题

2.通过简化重构误差的计算公式,大大降低了算法的计算复杂度和运算时间


此外,试验通过分析参数对算法性能的影响给出了合理的参数取值建议。最后将本文与其他算法应用到分类问题中进行对比,实验表明本文算法的分类性能较其他算法有显著提高。

密度敏感鲁棒模糊核主成分分析算法

不同算法对高维数据的降维性能对比


文章信息:陶新民, 常瑞, 沈微, 李晨曦, 王若彤, 刘艳超. 密度敏感鲁棒模糊核主成分分析算法. 自动化学报, 2020, 46(2): 358-372.


分享到:


相關文章: