為什麼數據處理很重要？
熟悉數據挖掘和機器學習的小夥伴們都知道，數據處理相關的工作時間佔據了整個項目的70%以上。數據的質量，直接決定了模型的預測和泛化能力的好壞。它涉及很多因素，包括：準確性、完整性、一致性、時效性、可信性和解釋性。
而在真實數據中，我們拿到的數據可能包含了大量的缺失值，可能包含大量的噪音，也可能因為人工錄入錯誤導致有異常點存在，非常不利於算法模型的訓練。數據清洗的結果是對各種髒數據進行對應方式的處理，得到標準的、乾淨的、連續的數據，提供給數據統計、數據挖掘等使用。
有哪些數據預處理的方法？
數據預處理的主要步驟分為：數據清理、數據集成、數據規約和數據變換。本文將從這四個方面詳細的介紹具體的方法。如果在一個項目中，你在這幾個方面的數據處理做的都很不錯，對於之後的建模具有極大的幫助，並且能快速達到一個還不錯的結果。
數據清理
數據清理(data cleaning) 的主要思想是通過填補缺失值、光滑噪聲數據，平滑或刪除離群點，並解決數據的不一致性來“清理“數據。如果用戶認為數據時髒亂的，他們不太會相信基於這些數據的挖掘結果，即輸出的結果是不可靠的。
1、缺失值的處理
由於現實世界中，獲取信息和數據的過程中，會存在各類的原因導致數據丟失和空缺。針對這些缺失值的處理方法，主要是基於變量的分佈特性和變量的重要性（信息量和預測能力）採用不同的方法。主要分為以下幾種：
- 刪除變量：若變量的缺失率較高（大於80%），覆蓋率較低，且重要性較低，可以直接將變量刪除。
- 定值填充：工程中常見用-9999進行替代
- 統計量填充：若缺失率較低（小於95%）且重要性較低，則根據數據分佈的情況進行填充。對於數據符合均勻分佈，用該變量的均值填補缺失，對於數據存在傾斜分佈的情況，採用中位數進行填補。
- 插值法填充：包括隨機插值，多重差補法，熱平臺插補，拉格朗日插值，牛頓插值等
- 模型填充：使用迴歸、貝葉斯、隨機森林、決策樹等模型對缺失數據進行預測。
- 啞變量填充：若變量是離散型，且不同值較少，可轉換成啞變量，例如性別SEX變量，存在male,fameal,NA三個不同的值，可將該列轉換成：IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某個變量存在十幾個不同的值，可根據每個值的頻數，將頻數較小的值歸為一類'other'，降低維度。此做法可最大化保留變量的信息。
總結來看，樓主常用的做法是：先用pandas.isnull.sum()檢測出變量的缺失比例，考慮刪除或者填充，若需要填充的變量是連續型，一般採用均值法和隨機差值進行填充，若變量是離散型，通常採用中位數或啞變量進行填充。
注意：若對變量進行分箱離散化，一般會將缺失值單獨作為一個箱子（離散變量的一個值）
2、離群點處理
異常值是數據分佈的常態，處於特定分佈區域或範圍之外的數據通常被定義為異常或噪聲。異常分為兩種：“偽異常”，由於特定的業務運營動作產生，是正常反應業務的狀態，而不是數據本身的異常；“真異常”，不是由於特定的業務運營動作產生，而是數據本身分佈異常，即離群點。主要有以下檢測離群點的方法：
- 簡單統計分析：根據箱線圖、各分位點判斷是否存在異常，例如pandas的describe函數可以快速發現異常值。
- 3原則：若數據存在正態分佈，偏離均值的3之外。通常定義： 範圍內的點為離群點。
- 基於絕對離差中位數（MAD）：這是一種穩健對抗離群數據的距離值方法，採用計算各觀測值與平均值的距離總和的方法。放大了離群值的影響。
- 基於距離：通過定義對象之間的臨近性度量，根據距離判斷異常對象是否遠離其他對象，缺點是計算複雜度較高，不適用於大數據集和存在不同密度區域的數據集
- 基於密度：離群點的局部密度顯著低於大部分近鄰點，適用於非均勻的數據集
- 基於聚類：利用聚類算法，丟棄遠離其他簇的小簇。
總結來看，在數據處理階段將離群點作為影響數據質量的異常點考慮，而不是作為通常所說的異常檢測目標點，因而樓主一般採用較為簡單直觀的方法，結合箱線圖和MAD的統計方法判斷變量的離群點。
具體的處理手段：
- 根據異常點的數量和影響，考慮是否將該條記錄刪除，信息損失多
- 若對數據做了log-scale 對數變換後消除了異常值，則此方法生效，且不損失信息
- 平均值或中位數替代異常點，簡單高效，信息的損失較少
- 在訓練樹模型時，樹模型對離群點的魯棒性較高，無信息損失，不影響模型訓練效果
3、噪聲處理
噪聲是變量的隨機誤差和方差，是觀測點和真實點之間的誤差，即 ：
通常的處理辦法：對數據進行分箱操作，等頻或等寬分箱，然後用每個箱的平均數，中位數或者邊界值（不同數據分佈，處理方法不同）代替箱中所有的數，起到平滑數據的作用。另外一種做法是，建立該變量和預測變量的迴歸模型，根據迴歸係數和預測變量，反解出自變量的近似值。
數據集成
數據分析任務多半涉及數據集成。數據集成將多個數據源中的數據結合成、存放在一個一致的數據存儲，如數據倉庫中。這些源可能包括多個數據庫、數據方或一般文件。
1、實體識別問題：例如，數據分析者或計算機如何才能確信一個數 據庫中的 customer_id 和另一個數據庫中的 cust_number 指的是同一實體?通常，數據庫和數據倉庫 有元數據——關於數據的數據。這種元數據可以幫助避免模式集成中的錯誤。
2、冗餘問題。一個屬性是冗餘的，如果它能由另一個表“導出”;如年薪。屬性或 維命名的不一致也可能導致數據集中的冗餘。用相關性檢測冗餘：數值型變量可計算相關係數矩陣，標稱型變量可計算卡方檢驗。
3、數據值的衝突和處理：不同數據源，在統一合併時，保持規範化，去重。
數據規約
數據歸約技術可以用來得到數據集的歸約表示，它小得多，但仍接近地保持原數據的完整性。這樣，在歸約後的數據集上挖掘將更有效，併產生相同(或幾乎相同)的分析結果。一般有如下策略：
1、維度規約
用於數據分析的數據可能包含數以百計的屬性，其中大部分屬性與挖掘任務不相關，是冗餘的。維度歸約通過刪除不相關的屬性，來減少數據量，並保證信息的損失最小。
屬性子集選擇：目標是找出最小屬性集，使得數據類的概率分佈儘可能地接近使用所有屬性的原分佈。在壓縮 的屬性集上挖掘還有其它的優點。它減少了出現在發現模式上的屬性的數目，使得模式更易於理解。
- 逐步向前選擇：該過程由空屬性集開始，選擇原屬性集中最好的屬性，並將它添加到該集合
中。在其後的每一次迭代，將原屬性集剩下的屬性中的最好的屬性添加到該集合中。 - 逐步向後刪除：該過程由整個屬性集開始。在每一步，刪除掉尚在屬性集中的最壞屬性。
- 向前選擇和向後刪除的結合：向前選擇和向後刪除方法可以結合在一起，每一步選擇一個最 好的屬性，並在剩餘屬性中刪除一個最壞的屬性。
python scikit-learn 中的遞歸特徵消除算法Recursive feature elimination (RFE)，就是利用這樣的思想進行特徵子集篩選的，一般考慮建立SVM或迴歸模型。
單變量重要性：分析單變量和目標變量的相關性，刪除預測能力較低的變量。這種方法不同於屬性子集選擇，通常從統計學和信息的角度去分析。
- pearson相關係數和卡方檢驗，分析目標變量和單變量的相關性。
- 迴歸係數：訓練線性迴歸或邏輯迴歸，提取每個變量的表決係數，進行重要性排序。
- 樹模型的Gini指數：訓練決策樹模型，提取每個變量的重要度，即Gini指數進行排序。
- Lasso正則化：訓練迴歸模型時，加入L1正則化參數，將特徵向量稀疏化。
- IV指標：風控模型中，通常求解每個變量的IV值，來定義變量的重要度，一般將閥值設定在0.02以上。
以上提到的方法，沒有講解具體的理論知識和實現方法，需要同學們自己去熟悉掌握。樓主通常的做法是根據業務需求來定，如果基於業務的用戶或商品特徵，需要較多的解釋性，考慮採用統計上的一些方法，如變量的分佈曲線，直方圖等，再計算相關性指標，最後去考慮一些模型方法。
如果建模需要，則通常採用模型方法去篩選特徵，如果用一些更為複雜的GBDT，DNN等模型，建議不做特徵選擇，而做特徵交叉。
2、維度變換：
維度變換是將現有數據降低到更小的維度，儘量保證數據信息的完整性。樓主將介紹常用的幾種有損失的維度變換方法，將大大地提高實踐中建模的效率
- 主成分分析（PCA）和因子分析（FA）：PCA通過空間映射的方式，將當前維度映射到更低的維度，使得每個變量在新空間的方差最大。FA則是找到當前特徵向量的公因子（維度更小），用公因子的線性組合來描述當前的特徵向量。
- 奇異值分解（SVD）：SVD的降維可解釋性較低，且計算量比PCA大，一般用在稀疏矩陣上降維，例如圖片壓縮，推薦系統。
- 聚類：將某一類具有相似性的特徵聚到單個變量，從而大大降低維度。
- 線性組合：將多個變量做線性迴歸，根據每個變量的表決係數，賦予變量權重，可將該類變量根據權重組合成一個變量。
- 流行學習：流行學習中一些複雜的非線性方法，可參考skearn：LLE Example
數據變換
數據變換包括對數據進行規範化，離散化，稀疏化處理，達到適用於挖掘的目的。
1、規範化處理：數據中不同特徵的量綱可能不一致，數值間的差別可能很大，不進行處理可能會影響到數據分析的結果，因此，需要對數據按照一定比例進行縮放，使之落在一個特定的區域，便於進行綜合分析。特別是基於距離的挖掘方法，聚類，KNN，SVM一定要做規範化處理。
2、離散化處理：數據離散化是指將連續的數據進行分段，使其變為一段段離散化的區間。分段的原則有基於等距離、等頻率或優化的方法。數據離散化的原因主要有以下幾點：
- 模型需要：比如決策樹、樸素貝葉斯等算法，都是基於離散型的數據展開的。如果要使用該類算法，必須將離散型的數據進行。有效的離散化能減小算法的時間和空間開銷，提高系統對樣本的分類聚類能力和抗噪聲能力。
- 離散化的特徵相對於連續型特徵更易理解。
- 可以有效的克服數據中隱藏的缺陷，使模型結果更加穩定。
等頻法：使得每個箱中的樣本數量相等，例如總樣本n=100，分成k=5個箱，則分箱原則是保證落入每個箱的樣本量=20。
等寬法：使得屬性的箱寬度相等，例如年齡變量（0-100之間），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五個等寬的箱。
聚類法：根據聚類出來的簇，每個簇中的數據為一個箱，簇的數量模型給定。
3、稀疏化處理：針對離散型且標稱變量，無法進行有序的LabelEncoder時，通常考慮將變量做0，1啞變量的稀疏化處理，例如動物類型變量中含有貓，狗，豬，羊四個不同值，將該變量轉換成is_豬，is_貓，is_狗，is_羊四個啞變量。若是變量的不同值較多，則根據頻數，將出現次數較少的值統一歸為一類'rare'。稀疏化處理既有利於模型快速收斂，又能提升模型的抗噪能力。
總結
以上介紹了數據預處理中會用到的大部分方法和技術，完全適用於初學者學習掌握，並且對於實踐建模會有大幅度提升。以上方法的代碼實現，均可在python的pandas和sklearn中完成。大家可根據需要去查閱學習，網上資料也很多，樓主只提供方法和經驗上的借鑑，希望每個認真學習鞏固的同學都能得到提升。
作者：lswbjtu https://zhuanlan.zhihu.com/p/51131210
編輯：機器學習算法與Python實戰
閱讀更多 商助科技 的文章
