大家好，我是爱讲故事的某某某。 欢迎来到今天的【五分钟机器学习】专栏内容 --《向量支持机SVM》 今天的内容将详细介绍SVM这个算法的训练过程以及他的主要优缺点，还没有看过的小伙伴欢迎去补番：

【五分钟机器学习】向量支持机SVM——学霸中的战斗机

在视频的内容中，我们介绍了SVM的主要思想及Hard Margin SVM的优化过程。

在今天的专栏中，我们将填上视频中的坑，本期专栏的主要内容有两块：

推导Hard Margin SVM两个Margin Boundary之间的距离Soft-Margin SVM 的逻辑思路介绍

推导Hard Margin SVM两个Margin Boundary之间的距离

我们假定一个Hard Margin SVM如下图所示。

Fig1. Hard-Margin SVM实例

其中，决策分界面Decision Boundary的公式：

Eq1. Decision Boundary

两个边界分界面Margin Boundary的公式：

Eq2. Margin Boundary

我们假定图1中高光的点(

)在边界分界面上面，即满足Eq2中的条件b1x1+b2x2+b0 = +1(落在红色的线上面)。那么根据点到直线的公式：

Eq3. 高光点HiSample到决策分界面DecBoundary的距离

根据定义:

所以Eq3可以写成：

Eq4. 高光点到决策分界面的距离

因为决策分界面正好在两个边界分界面的正中间，即两个类别之间的间距为：

Eq5. 两个边界分界面之间的距离，即HardMargin

以上就是Hard-Margin SVM的两个边界分界面之间的距离的推导过程。

Soft-Margin SVM 的逻辑思路介绍

Soft-Margin SVM要解决的问题有两个：

和Hard-MarginSVM一样，需要最大化间距在保证大局的正确性的同时，引入容错率这个概念

对于第一点，如果你还记得我们的做法是将距离公式，转化为Hard-margin SVM的Loss function。使其在最小化Loss的同时，也可以最大化Margin，即：

Eq6. Hard Margin SVM的Loss

在这个基础上，我们引入Hinge Loss作为允许部分错误分类的过程。所以我们Soft-Margin SVM的Loss可以写成：

Eq7. Soft Margin SVM的Loss

其中N表示样本数量，C表示惩罚系数(Penalty Term)，而Hinge loss 的部分为：

Eq8. Hinge Loss 的定义

【重点】这里我们不妨仔细看下这个公式，他的逻辑分两层，从内到外看：

对于下面的部分，他的计算结果表示错误分类的误差和

Eq9. Hinge Loss 的定义(2)

比如，当你y_n=1，并且b1x1+b2x2+b0=1时，表示通过分类器得到的结果和样本真是标记相同，这个式子的输出为0；反之，当你y_n=1，并且b1x1+b2x2+b0=-1时，表示通过分类器得到的结果和样本真是标记相反，这个式子的输出为2，表示为有误差。

max(0, ....)这部分表示为取上面步骤的误差计算结果和0这两个数值中大的数值作为输出。

比如，如果SVM的分类结果没错，上面步骤的输出应该是0，那么max(0,0)=0;

如果SVM的分类结果有误，上面步骤的输出应该大于0(比如2)，那么max(0,2)=2;

【重点】所以通过这个部分，你可以看到优化Soft Margin SVM Loss的过程就是在平衡两个点：1. 最大化间距(Hard SVM)， 还是2. 允许部分误差(Hinge Loss)。而为了更好的平衡这两点，我们引入了惩罚因子C。当C变大时，意味着我们会更多的惩罚Hinge Loss,即尽可能少犯错；当C变小时，意味着我们会尽可能惩罚Hard SVM,也就是Margin更大。

为了更好的理解，这里给你准备了一个例子，对比下Hard Margin SVM和Soft Margin SVM。可以看到Soft margin SVM 由于Hinge Loss的引入，增加了很多容错率，从而保证大局上的正确率。

Fig2. Toy Dataset example

Fig3. Hard Margin SVM 分类结果

Fig4. Soft Margin SVM分类结果

以上就是今天的【五分钟机器学习】SVM篇的主要内容了。

如果你觉得本期内容有所帮助，欢迎素质三连。

您的支持将是我继续发电的最大动力~

我是某某某