支持向量機svm的相關的知識內容可以參考
https://blog.csdn.net/luanpeng825485697/article/details/78823919
支持向量機的優勢在於:
在高維空間中非常高效.即使在數據維度比樣本數量大的情況下仍然有效.在決策函數(稱為支持向量)中使用訓練集的子集,因此它也是高效利用內存的.通用性: 不同的核函數與特定的決策函數一一對應.常見的 kernel 已經提供,也可以指定定製的內核.支持向量機的缺點包括:
如果特徵數量比樣本數量大得多,在選擇核函數時要避免過擬合,而且正則化項是非常重要的.支持向量機不直接提供概率估計,這些都是使用昂貴的五次交叉驗算計算的. (詳情見 Scores and probabilities, 在下文中).sklearn.svm模塊提供了很多模型供我們使用。
SVC
SVC用於分類:支持向量分類,基於libsvm實現的,數據擬合的時間複雜度是數據樣本的二次方,這使得他很難擴展到10000個數據集,當輸入是多類別時(SVM最初是處理二分類問題的),通過一對一的方案解決,當然也有別的解決辦法。
SVC參數說明如下:
C:懲罰項,float類型,可選參數,默認為1.0,C越大,即對分錯樣本的懲罰程度越大,因此在訓練樣本中準確率越高,但是泛化能力降低,也就是對測試數據的分類準確率降低。相反,減小C的話,容許訓練樣本中有一些誤分類錯誤樣本,泛化能力強。對於訓練樣本帶有噪聲的情況,一般採用後者,把訓練樣本集中錯誤分類的樣本作為噪聲。
kernel:核函數類型,str類型,默認為’rbf’。可選參數為:
‘linear’:線性核函數‘poly’:多項式核函數‘rbf’:徑像核函數/高斯核‘sigmod’:sigmod核函數‘precomputed’:核矩陣。precomputed表示自己提前計算好核函數矩陣,這時候算法內部就不再用核函數去計算核矩陣,而是直接用你給的核矩陣,核矩陣需要為n*n的。degree:多項式核函數的階數,int類型,可選參數,默認為3。這個參數只對多項式核函數有用,是指多項式核函數的階數n,如果給的核函數參數是其他核函數,則會自動忽略該參數。gamma:核函數係數,float類型,可選參數,默認為auto。只對’rbf’ ,’poly’ ,’sigmod’有效。如果gamma為auto,代表其值為樣本特徵數的倒數,即1/n_features。 coef0:核函數中的獨立項,float類型,可選參數,默認為0.0。只有對’poly’ 和,’sigmod’核函數有用,是指其中的參數c。probability:是否啟用概率估計,bool類型,可選參數,默認為False,這必須在調用fit()之前啟用,並且會fit()方法速度變慢。shrinking:是否採用啟發式收縮方式,bool類型,可選參數,默認為True。tol:svm停止訓練的誤差精度,float類型,可選參數,默認為1e^-3。cache_size:內存大小,float類型,可選參數,默認為200。指定訓練所需要的內存,以MB為單位,默認為200MB。class_weight:類別權重,dict類型或str類型,可選參數,默認為None。給每個類別分別設置不同的懲罰參數C,如果沒有給,則會給所有類別都給C=1,即前面參數指出的參數C。如果給定參數’balance’,則使用y的值自動調整與輸入數據中的類頻率成反比的權重。verbose:是否啟用詳細輸出,bool類型,默認為False,此設置利用libsvm中的每個進程運行時設置,如果啟用,可能無法在多線程上下文中正常工作。一般情況都設為False,不用管它。max_iter:最大迭代次數,int類型,默認為-1,表示不限制。decision_function_shape:決策函數類型,可選參數’ovo’和’ovr’,默認為’ovr’。’ovo’表示one vs one,’ovr’表示one vs rest。random_state:數據洗牌時的種子值,int類型,可選參數,默認為None。偽隨機數發生器的種子,在混洗數據時用於概率估計。NuSVC
NuSVC(Nu-Support Vector Classification.):核支持向量分類,和SVC類似,也是基於libsvm實現的,但不同的是通過一個參數空值支持向量的個數。
nu:訓練誤差的一個上界和支持向量的分數的下界。應在間隔(0,1 ]。
其餘同SVC
LinearSVC
LinearSVC(Linear Support Vector Classification):線性支持向量分類,類似於SVC,但是其使用的核函數是”linear“上邊介紹的兩種是按照brf(徑向基函數計算的,其實現也不是基於LIBSVM,所以它具有更大的靈活性在選擇處罰和損失函數時,而且可以適應更大的數據集,他支持密集和稀疏的輸入是通過一對一的方式解決的。
LinearSVC 參數解釋
C:目標函數的懲罰係數C,用來平衡分類間隔margin和錯分樣本的,default C = 1.0;
loss:指定損失函數
penalty :
dual :選擇算法來解決對偶或原始優化問題。當nsamples>nfeaturesnsamples>nfeatures 時dual=false。
tol :(default = 1e - 3): svm結束標準的精度;
multi_class:如果y輸出類別包含多類,用來確定多類策略, ovr表示一對多,“crammer_singer”優化所有類別的一個共同的目標 。如果選擇“crammer_singer”,損失、懲罰和優化將會被被忽略。
fit_intercept :
intercept_scaling :
class_weight :對於每一個類別i設置懲罰係數C=classweight[i]∗CC=classweight[i]∗C,如果不給出,權重自動調整為 nsamples/(nclasses∗np.bincount(y))nsamples/(nclasses∗np.bincount(y))
verbose:跟多線程有關,不大明白啥意思具體。
編寫代碼
數據集下載地址:https://github.com/626626cdllp/sklearn/blob/master/SVM_data.txt
SVC、LinearSVC、NuSVC
import numpy as np # 快速操作結構數組的工具
from sklearn import svm # svm支持向量機
import matplotlib.pyplot as plt # 可視化繪圖
data_set = np.loadtxt("SVM_data.txt")
train_data = data_set[:,0:2] # 訓練特徵空間
train_target = np.sign(data_set[:,2]) # 訓練集類標號
test_data = [[3,-1], [1,1], [7,-3], [9,0]] # 測試特徵空間
test_target = [-1, -1, 1, 1] # 測試集類標號
plt.scatter(data_set[:,0],data_set[:,1],c=data_set[:,2]) # 繪製可視化圖
plt.show()
# 創建模型
clf = svm.SVC()
clf.fit(X=train_data, y=train_target,sample_weight=None) # 訓練模型。參數sample_weight為每個樣本設置權重。應對非均衡問題
result = clf.predict(test_data) # 使用模型預測值
print('預測結果:',result) # 輸出預測值[-1. -1. 1. 1.]
# 獲得支持向量
print('支持向量:',clf.support_vectors_)
# 獲得支持向量的索引
print('支持向量索引:',clf.support_)
# 為每一個類別獲得支持向量的數量
print('支持向量數量:',clf.n_support_)
# # ===============================Linear SVM======================
from sklearn.svm import LinearSVC
clf = LinearSVC() # 創建線性可分svm模型,參數均使用默認值
clf.fit(train_data, train_target) # 訓練模型
result = clf.predict(test_data) # 使用模型預測值
print('預測結果:',result) # 輸出預測值[-1. -1. 1. 1.]
# # ===============================Linear NuSVC======================
from sklearn.svm import NuSVC
clf = NuSVC() # 創建線性可分svm模型,參數均使用默認值
clf.fit(train_data, train_target) # 訓練模型
result = clf.predict(test_data) # 使用模型預測值
print('預測結果:',result) # 輸出預測值[-1. -1. 1. 1.]
不均衡樣本、多分類問題
現在我們再來模擬一下樣本不均衡的情況,同時學習下SVM處理多分類問題。
# ===============================樣本不平衡、多分類的情========================
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
# 創建不均衡樣本
rng = np.random.RandomState(0)
n_samples_1 = 1000
n_samples_2 = 100
n_samples_3 = 100
X = np.r_[1.5 * rng.randn(n_samples_1, 2), 0.5 * rng.randn(n_samples_2, 2) + [2, 2],0.5 * rng.randn(n_samples_3, 2) + [-3, 3]] # 三類樣本點中心為(1.5,1.5)、(2,2)、(-3,3)
y = [0] * (n_samples_1) + [1] * (n_samples_2)+ [2] * (n_samples_3) # 前面的1000個為類別0,後面的100個為類別1,最後100個類別為2
# 創建模型獲取分離超平面
clf = svm.SVC(decision_function_shape='ovo',kernel='linear', C=1.0) # decision_function_shape='ovo'為使用1對1多分類處理。會創建n(n-1)/2個二分類。ovr為一對所有的處理方式
clf.fit(X, y)
# 多分類的情況下,獲取其中二分類器的個數。
dec = clf.decision_function([[1.5,1.5]]) # decision_function()的功能:計算樣本點到分割超平面的函數距離。 包含幾個2分類器,就有幾個函數距離。
print('二分類器個數:',dec.shape[1])
# 繪製,第一個二分類器的分割超平面
w = clf.coef_[0]
a = -w[0] / w[1] # a可以理解為斜率
xx = np.linspace(-5, 5)
yy = a * xx - clf.intercept_[0] / w[1] # 二維座標下的直線方程
# 使用類權重,獲取分割超平面
wclf = svm.SVC(kernel='linear', class_weight={1: 10})
wclf.fit(X, y)
# 繪製 分割分割超平面
ww = wclf.coef_[0]
wa = -ww[0] / ww[1]
wyy = wa * xx - wclf.intercept_[0] / ww[1] # 帶權重的直線
# 繪製第一個二分類器的分割超平面和樣本點
h0 = plt.plot(xx, yy, 'k-', label='no weights')
h1 = plt.plot(xx, wyy, 'k--', label='with weights')
plt.scatter(X[:, 0], X[:, 1], c=y)
plt.legend()
plt.show()
迴歸
支持向量分類的方法可以被擴展用作解決迴歸問題. 這個方法被稱作支持向量迴歸.
支持向量分類生成的模型(如前描述)只依賴於訓練集的子集,因為構建模型的 cost function 不在乎邊緣之外的訓練點. 類似的,支持向量迴歸生成的模型只依賴於訓練集的子集, 因為構建模型的 cost function 忽略任何接近於模型預測的訓練數據.
支持向量分類有三種不同的實現形式: SVR, NuSVR 和 LinearSVR. 在只考慮線性核的情況下, LinearSVR 比 SVR 提供一個更快的實現形式, 然而比起 SVR 和 LinearSVR, NuSVR 實現一個稍微不同的構思(formulation)
與分類的類別一樣, fit方法會調用參數向量 X, y, 只在 y 是浮點數而不是整數型.:
# ===============================SVM迴歸預測========================
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = svm.SVR()
clf.fit(X, y)
clf.predict([[1, 1]])
使用訣竅
原文鏈接:https://blog.csdn.net/luanpeng825485697/article/details/79809006