正則化類型：
- L1
- L2
- Elastic-net
L1正則化：
L1正則化的思想是將數據集簡化為僅會影響“目標變量”的最重要特徵。L1正則化會增加一個等於係數絕對值之和的懲罰。
L1
通過加上上述懲罰，特徵的某些係數變為0，其餘特徵將成為最有用的特徵。這種正則化方法可以看作是特徵選擇的方法。
L2（Ridge正則化）：
L2正則化附加等於係數平方值之和的懲罰。
L2
等式中的λ是控制懲罰強度的超參數。
當λ→0時，結果類似於線性迴歸
當λ→∞時，所有特徵均減小為0。
施加懲罰後，係數不會急劇變化為0，而會緩慢減小為0。因此，與L1不同，L2無法用於特徵選擇。
在這兩種情況下
懲罰越大，係數就越小。
Elastic-net：
彈性網正則化是L1和L2正則化的組合。
L1L2
施加的懲罰（P）如下：
在這種情況下，λ是一個共享參數，用於設置L1和L2之間的比率。因此，結果將是L1和L2正則化的混合。正則化的幾何表示如下所示：
L1L2
分享到:
閱讀更多 公子小悅 的文章
