密度敏感魯棒模糊核主成分分析算法

主成分分析(PCA)和為解決非線性數據而提出的核主成分分析(Kernel PCA)作為基於統計學的降維和特徵提取方法,在圖像分割,數據檢測,人臉識別等領域取得了良好效果。


傳統的PCA算法主要是以協方差矩陣為基礎,通過計算其特徵值和特徵向量得到主元分佈。但是,由於協方差矩陣是一個不穩健的估計量,對野性樣本點非常敏感,因此當樣本數據中存在野性樣本點時,由於野性樣本點遠離數據中心,方差較大,從而導致協方差矩陣發生變化,隨之影響主元的分佈。


密度敏感魯棒模糊核主成分分析算法

密度敏感魯棒模糊核主成分分析算法

傳統PCA算法對有無野性樣本點數據集的主成分分佈圖


為了解決傳統PCA存在的上述缺陷,有學者提出了魯棒模糊PCA算法(RFPCA)和魯棒核模糊PCA算法(RFK-PCA),它們通過給野性樣本點賦予較小的隸屬度來減弱其對主元分佈的影響,從而提高算法的穩定性。但它們存在以下問題:


1.極易陷入局部極小解且因模糊隸屬度的更新方向也非最優梯度方向,使得算法分類性能的提升並不明顯

2.由於該算法重構誤差的計算公式較為複雜,從而導致算法運行時間過長。

針對以上問題,本文問題出一種密度敏感魯棒模糊核主成分分析算法(DRF-PCA),該算法:

1.首先通過引入相對密度確定樣本初始隸屬度,並構建出基於重構誤差的隸屬度確定方法,同時採取最優梯度下降法實現隸屬度的更新,有效解決了傳統核主成分分析算法對野性樣本點敏感導致的主成分偏移等問題

2.通過簡化重構誤差的計算公式,大大降低了算法的計算複雜度和運算時間


此外,試驗通過分析參數對算法性能的影響給出了合理的參數取值建議。最後將本文與其他算法應用到分類問題中進行對比,實驗表明本文算法的分類性能較其他算法有顯著提高。

密度敏感魯棒模糊核主成分分析算法

不同算法對高維數據的降維性能對比


文章信息:陶新民, 常瑞, 沈微, 李晨曦, 王若彤, 劉豔超. 密度敏感魯棒模糊核主成分分析算法. 自動化學報, 2020, 46(2): 358-372.


分享到:


相關文章: