1、特徵工程是什麼

有這麼一句話在業界廣泛流傳：數據和特徵決定了機器學習的上限，而模型和算法只是逼近這個上限而已。那特徵工程到底是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特徵以供算法和模型使用。通過總結和歸納，目前認為特徵工程包括以下方面：

特徵處理是特徵工程的核心部分，sklearn提供了較為完整的特徵處理方法，包括數據預處理、特徵選擇、降維等。 本文中使用sklearn中的IRIS(鳶尾花)數據集來對特徵處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特徵（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特徵值都為正浮點數，單位為釐米。目標值為鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。導入IRIS數據集的代碼如下：

<code>from sklearn.datasets import load_iris

# 導入IRIS數據集
iris = load_iris()
# 特徵矩陣
iris.data
# 目標向量
iris.target
/<code>

2、數據預處理

通過特徵提取，我們能得到未經處理的特徵，這時的特徵有可能有以下問題：

<code>1-不屬於同一量綱：即特徵的規格不一樣，不能夠放在一起比較；
2-定性特徵不能直接使用：某些機器學習算法和模型只能接受定量特徵的輸入，那麼需要將定性特徵轉換為定量特徵。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過於靈活，增加了調參的工作。通常使用啞編碼的方式將定性特徵轉換為定量特徵：假設有N種特徵，當原始特徵值為第i種定性值時，第i個擴展特徵為1，其他擴展特徵賦值為0。啞編碼的方式相比直接指定的方式，不用增加調參的工作，對於線性模型來說，使用啞編碼的特徵可達到非線性的效果； 

存在缺失值：缺失值需要補充；
信息利用率低：不同的機器學習算法和模型對數據中信息的利用是不同的，之前提到在線性模型中，使用對定性特徵啞編碼可以達到非線性的效果。類似地，對定量變量多項式化，或者進行其他的轉換，都能達到非線性的效果。
使用sklearn中是的preprocessing庫來進行數據預處理，可以覆蓋以上問題的解決方案。
/<code>

2.1 無量綱化

無量綱化使不同規格的數據轉換到同一規格。常用的無量綱化方法有標準化和區間縮放法。標準化的前提是特徵值服從正態分佈，標準化後，其轉換成標準正態分佈；區間縮放法利用了邊界值信息，將特徵的取值區間縮放到某個特點的範圍，例如[0,1]等。 2.1.1 標準化

標準化需要計算特徵的均值和標準差，公式表達為：

標準化

使用preprocessing的StandardScaler類對數據進行標準化的代碼如下： from sklearn.preprocessing import StandardScaler

標準化，返回值為標準化後的數據

StandardScaler().fit_transform(iris.data) 2.1.2 區間縮放法

區間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為：

min-max縮放

使用preprocessing庫的MinMaxScaler類對數據進行區間縮放的代碼如下：

<code>from sklearn.preprocessing import MinMaxScaler

# 區間縮放，返回值縮放到[0,1]區間的數據
MinMaxScaler().fit_transform(iris.data)
/<code>

2.1.3 標準化與歸一化的區別

簡單來說，標準化是依照特徵矩陣的列處理數據，其通過z-score的方法，將樣本的特徵值轉換到同一量綱下；歸一化是依照特徵矩陣的行處理數據，其目的在於樣本向量在點乘運算或其他核函數計算相似性時，擁有統一的標準，也就是說都轉化為“單位向量”。規則為l2的歸一化公式如下：

歸一化

使用preprocessing庫的Normalizer類對數據進行歸一化的代碼如下：

<code>from sklearn.preprocessing import Normalizer

# 歸一化，返回值為歸一化後的數據
Normalizer().fit_transform(iris.data)
/<code>

2.2 對定量特徵二值化

定量特徵的二值化的核心在於設定一個閾值，小於等於閾值的賦值為0，大於閾值的賦值為1，公式表達如下：

定量特徵二值化

使用preprocessing庫的Binarizer類對數據進行二值化的代碼如下：

<code>from sklearn.preprocessing import Binarizer

# 二值化，閾值為3，返回值為二值化後的數據
Binarizer(threshold=3).fit_transform(iris.data)
/<code>

2.3 對定性特徵啞編碼

由於IRIS數據集的特徵皆為定量特徵，故使用其目標值進行啞編碼（實際上是不需要的）。 使用preprocessing庫的OneHotEncoder類對數據進行啞編碼的代碼如下：

<code>from sklearn.preprocessing import OneHotEncoder

# 啞編碼，對IRIS數據集的目標值，返回啞編碼後的數據
OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))
/<code>

2.4 缺失值計算

由於IRIS數據集沒有缺失值，故對數據集新增一個樣本，4個特徵均賦值為NaN，表示數據缺失。 使用preprocessing庫的Imputer類對數據進行缺失值計算的代碼如下：

<code>from numpy import vstack,array,nan
from sklearn.preprocessing import Imputer

# 缺失值計算，返回值為結算缺失值後的數據
# 參數missing_value為缺失值的表示形式，默認為NaN 

# 參數strategy為默認填充方式，默認為mean（均值）
Imputer().fit_transform(vstack((array([nan,nan,nan,nan]),iris.data)))
/<code>

2.5 數據變換

常見的數據變換有基於多項式的、基於指數函數的、基於對數函數的。4個特徵，度為2的多項式轉換公式如下：

使用preprocessing庫的PolynomialFeatures類對數據多項式轉化的代碼如下：

<code>from sklearn.preprocessing import PolynomialFeatures
 

# 多項式轉換
# 參數degree為度
PolynomialFeatures().fit_transform(iris.data)
/<code>

基於單變元函數的數據變換可以使用一個同一的方式完成，使用preprocessing庫的FunctionTransformer對數據進行對數函數轉換的代碼如下：

<code>from numpy import log1p
from sklearn.preprocessing import FunctionTransformer

# 自定義轉換函數為對數函數的數據變換
# 第一個參數是單變元函數
FunctionTransformer(log1p).fit_transform(iris.data)
/<code>

3、特徵選擇

當數據預處理完成後，我們需要選擇有意義的特徵輸入機器學習的算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特徵：

<code>特徵是否發散：如果一個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本上沒有差異，這個特徵對於樣本的區分並沒有什麼用；
特徵與目標的相關性：這點比較顯見，與目標相關性高的特徵應當優先選擇。
根據特徵選擇的形式又可以將特徵選擇方法分為3種：
Filter：過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者選擇閾值的個數，選擇特徵； 

Wrapper：包裝法，根據目標函數（通常是預測效果評分），每次選擇若干特徵，或者排除若干特徵；
Embedded：嵌入法，先使用某些機器學習的算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於Filter方法，但是通過訓練來確定特徵的優劣。
我們使用sklearn中的feature_selection庫來進行特徵選擇。
/<code>

3.1 Filter

3.1.1 方差選擇法

使用方差選擇法，先要計算各個特徵的方差，選擇方差大於閾值的特徵。 使用feature_selection庫的VarianceThreshold類來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import VarianceThreshold

# 方差選擇法，返回值為特徵選擇後的數據
# 參數threshold為方差的閾值
VarianceThreshold(threshold=3).fit_transform(iris.data)
/<code>

3.1.2 相關係數法

使用相關係數法，先要計算各個特徵對目標值的相關係數的P值。用feature_selection庫的SelectKBest類結合相關係數來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import SelectKBest
from scipy.stats import pearsonr

#選擇K個最好的特徵，返回選擇特徵後的數據
#第一個參數為計算評估特徵是否好的函數，該函數輸入特徵矩陣和目標向量，輸出二元組（評分，P值）的數組，數組第i項為第i個特徵的評分和P值。在此定義為計算相關係數
#參數k為選擇的特徵個數
SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
/<code>

3.1.3 卡方檢驗

經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。假設自變量有N種取值，因變量有M種取值，考慮自變量等於i且因變量等於j的樣本頻數的觀察值與期望的差距，構建統計量：

使用feature_selection庫的SelectionKBest類結合卡方檢驗來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

# 選擇K個最好的特徵，返回選擇特徵後的數據
SelectKBest(chi2,k=2).fit_transform(iris.data,iris.target)
/<code>

3.1.4 互信息法

經典的互信息也是評價定性自變量對定性因變量的相關性的，互信息計算公式如下：

互信息法

為了處理定量數據，最大信息係數法被提出，使用feature_selection庫的SelectKBest類結合最大信息係數法來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import SelectKBest
from minepy import MINE

# 由於MINE的設計不是函數式，定義mic方法將其改為函數式的，返回一個二元組，二元組的第2項設置成固定的P值0.5
def mic(x,y):
    m = MINE()
    m.compute_score(x,y)
    return (m.mic(),0.5)

# 選擇K個最好的特徵，返回特徵選擇後的數據
SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
/<code>

3.2 Wrapper

3.2.1 遞歸特徵消除法

遞歸消除特徵法使用一個基模型來進行多輪訓練，每輪訓練後，消除若干權值係數的特徵，再基於新的特徵集進行下一輪訓練。 使用feature_selection庫的RFE類來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

# 遞歸特徵消除法，返回特徵選擇後的數據
# 參數estimator為基模型 

# 參數n_features_to_select為選擇的特徵個數
RFE(estimator=LogisticRegression(),n_features_to_select=2).fit_transform(iris.data,iris.target)
/<code>

Embedded

3.3.1 基於懲罰項的特徵選擇法

使用帶懲罰項的基模型，除了篩選出特徵外，同時也進行了降維。 使用feature_selection庫的SelectFromModel類結合帶L1懲罰項的邏輯迴歸模型，來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

# 遞歸特徵消除法，返回特徵選擇後的數據
# 參數estimator為基模型
# 參數n_features_to_select為選擇的特徵個數
RFE(estimator=LogisticRegression(),n_features_to_select=2).fit_transform(iris.data,iris.target)
# 此處代碼有問題
/<code>

3.3.2 基於樹模型的特徵選擇法

樹模型中GBDT也可以用來作為基模型進行特徵選擇，用feature_selection庫的SelectFromModel類結合GBDT模型，來選擇特徵的代碼如下：

<code>from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import GradientBoostingClassifier

# GBDT作為基模型的特徵選擇 

SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data,iris.target)
/<code>

4、降維

當特徵選擇完成後，可以直接訓練模型了，但是可能由於特徵矩陣過大，導致計算量大、訓練時間長的問題，因此降低特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型以外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點，其本質是要將原始的樣本映射到維度更低的樣本空間中，但是PCA和LDA的映射目標不一樣：PCA是為了讓映射後的樣本具有最大的發散性；而LDA是為了讓映射後的樣本有最好的分類性能。所以說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。

4.1 主成分分析法（PCA）

使用decomposition庫的PCA類特徵的代碼如下：

<code>from sklearn.decomposition import PCA

# 主成分分析法，返回降維後的數據
# 參數n_components為主成分數目
PCA(n_components=2).fit_transform(iris.data)
/<code>

4.2 線性判別分析法（LDA）

使用lda庫的LDA類選擇特徵的代碼如下：

<code>from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA

# 線性判別分析法，返回降維後的數據
# 參數n_components為降維後的維數
LDA(n_components=2).fit_transform(iris.data,iris.target)
/<code>

作者：1點點De小任性丶 鏈接：https://www.jianshu.com/p/7066558bd386 來源：簡書 著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。

閱讀更多 小白學習日記yang 的文章

關鍵字: 機器學習 特徵 算法