1.介绍

在训练数据线性不可分时，如何定义此情形下支持向量机的最优化问题。为什么需要将支持向量机优化问题扩展到线性不可分的情形？ 在多数计算机视觉运用中，我们需要的不仅仅是一个简单的SVM线性分类器， 我们需要更加强大的工具来解决

2.C++实现过程

<code>
//--------------------------------------【程序说明】-------------------------------------------
//\t\t程序描述：支持向量机SVM之处理线性不可分数据
//\t\t测试所用操作系统： Windows 10 64bit
//\t\t测试所用IDE版本：Visual Studio 2017
//\t\t测试所用OpenCV版本：\t3.4
//\t\t2020年3月 Revised by @DL小宝
//------------------------------------------------------------------------------------------------

//---------------------------------【头文件、命名空间包含部分】----------------------------
//\t\t描述：包含程序所使用的头文件和命名空间
//------------------------------------------------------------------------------------------------
#include <iostream>
#include <opencv2>
#include <opencv2>
#include <opencv2>
#define NTRAINING_SAMPLES   100         // 每类训练样本的数量
#define FRAC_LINEAR_SEP     0.9f        //  部分(Fraction)线性可分的样本组成部分
using namespace cv;
using namespace std;

//-----------------------------------【ShowHelpText( )函数】----------------------------------
//          描述：输出一些帮助信息
//----------------------------------------------------------------------------------------------
void ShowHelpText()
{
\t//输出欢迎信息和OpenCV版本
\tprintf("\\n\\n\\t\\t\\t   当前使用的OpenCV版本为：" CV_VERSION);
\tprintf("\\n\\n  ----------------------------------------------------------------------------\\n");
} 


//-----------------------------------【main( )函数】--------------------------------------------
//\t\t描述：控制台应用程序的入口函数，我们的程序从这里开始
//-------------------------------------------------------------------------------------------------
int main()
{
\t//设置视觉表达的参数
\tconst int WIDTH = 512, HEIGHT = 512;
\tMat I = Mat::zeros(HEIGHT, WIDTH, CV_8UC3);
\tShowHelpText();

\t//--------------------- 【1】随机建立训练数据 ---------------------------------------
\tMat trainData(2 * NTRAINING_SAMPLES, 2, CV_32FC1);
\tMat labels(2 * NTRAINING_SAMPLES, 1, CV_32FC1);

\tRNG rng(100); // 随机生成值

\t//建立训练数据的线性可分的组成部分
\tint nLinearSamples = (int)(FRAC_LINEAR_SEP * NTRAINING_SAMPLES);

\t// 为Class1生成随机点
\tMat trainClass = trainData.rowRange(0, nLinearSamples);
\t// 点的x坐标为[0,0.4)
\tMat c = trainClass.colRange(0, 1);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(0.4 * WIDTH));
\t// 点的Y坐标为[0,1)
\tc = trainClass.colRange(1, 2);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

\t// 为Class2生成随机点
\ttrainClass = trainData.rowRange(2 * NTRAINING_SAMPLES - nLinearSamples, 2 * NTRAINING_SAMPLES);
\t// 点的x坐标为[0.6, 1]
\tc = trainClass.colRange(0, 1);
\trng.fill(c, RNG::UNIFORM, Scalar(0.6*WIDTH), Scalar(WIDTH));
\t// 点的Y坐标为[0, 1)
\tc = trainClass.colRange(1, 2);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

\t//------------------建立训练数据的非线性可分组成部分 --------------- 

\t// 随机生成Class1和Class2的点
\ttrainClass = trainData.rowRange(nLinearSamples, 2 * NTRAINING_SAMPLES - nLinearSamples);
\t// 点的x坐标为[0.4, 0.6)
\tc = trainClass.colRange(0, 1);
\trng.fill(c, RNG::UNIFORM, Scalar(0.4*WIDTH), Scalar(0.6*WIDTH));
\t// 点的y坐标为[0, 1)
\tc = trainClass.colRange(1, 2);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

\t//-------------------------设置类标签 ---------------------------------
\tlabels.rowRange(0, NTRAINING_SAMPLES).setTo(1);  // Class 1
\tlabels.rowRange(NTRAINING_SAMPLES, 2 * NTRAINING_SAMPLES).setTo(2);  // Class 2

\t//------------------------ 2. 设置支持向量机的参数 --------------------
\tCvSVMParams params;
\tparams.svm_type = SVM::C_SVC;
\tparams.C = 0.1;
\tparams.kernel_type = SVM::LINEAR;
\tparams.term_crit = TermCriteria(CV_TERMCRIT_ITER, (int)1e7, 1e-6);

\t//------------------------ 3. 训练支持向量机 ----------------------------------------------------
\tcout << "Starting training process" << endl;
\tCvSVM svm;
\tsvm.train(trainData, labels, Mat(), Mat(), params);
\tcout << "Finished training process" << endl;

\t//------------------------ 4. 标出决策区域（decision regions） ----------------------------------------
\tVec3b green(0, 100, 0), blue(100, 0, 0);
\tfor (int i = 0; i < I.rows; ++i)
\t\tfor (int j = 0; j < I.cols; ++j)
\t\t{
\t\t\tMat sampleMat = (Mat_<float>(1, 2) << i, j);
\t\t\tfloat response = svm.predict(sampleMat);

\t\t\tif (response == 1)    I.at<vec3b>(j, i) = green;
\t\t\telse if (response == 2)    I.at<vec3b>(j, i) = blue;
\t\t}

\t//----------------------- 5. 显示训练数据（training data） --------------------------------------------
\tint thick = -1;
\tint lineType = 8;
\tfloat px, py;
\t// Class 1
\tfor (int i = 0; i < NTRAINING_SAMPLES; ++i)
\t{ 

\t\tpx = trainData.at<float>(i, 0);
\t\tpy = trainData.at<float>(i, 1);
\t\tcircle(I, Point((int)px, (int)py), 3, Scalar(0, 255, 0), thick, lineType);
\t}
\t// Class 2
\tfor (int i = NTRAINING_SAMPLES; i < 2 * NTRAINING_SAMPLES; ++i)
\t{
\t\tpx = trainData.at<float>(i, 0);
\t\tpy = trainData.at<float>(i, 1);
\t\tcircle(I, Point((int)px, (int)py), 3, Scalar(255, 0, 0), thick, lineType);
\t}

\t//------------------------- 6. 显示支持向量（support vectors） --------------------------------------------
\tthick = 2;
\tlineType = 8;
\tint x = svm.get_support_vector_count();
\tfor (int i = 0; i < x; ++i)
\t{
\t\tconst float* v = svm.get_support_vector(i);
\t\tcircle(I, Point((int)v[0], (int)v[1]), 6, Scalar(128, 128, 128), thick, lineType);
\t}
\timwrite("svm.png", I);                      //保存图像到文件
\timshow("SVM for Non-Linear Training Data", I); // 显示最终窗口
\twaitKey(0);
}/<float>/<float>/<float>/<float>/<vec3b>/<vec3b>/<float>/<opencv2>/<opencv2>/<opencv2>/<iostream>/<code>

3.结果分析

1. 程序创建了一张图像，在其中显示了训练样本，其中一个类显示为浅绿色圆圈，另一个类显示为浅蓝色圆圈。
2. 训练得到SVM，并将图像的每一个像素分类。 分类的结果将图像分为蓝绿两部分，中间线就是最优分割超平面。由于样本非线性可分， 自然就有一些被错分类的样本。 一些绿色点被划分到蓝色区域， 一些蓝色点被划分到绿色区域。
3. 最后支持向量通过灰色边框加重显示。

閱讀更多 DL小寶 的文章

關鍵字: 视觉 向量 电脑