关于鞍点的定义可以参考论文
《鞍点定理在Lagrange乘数法上的应用》
下面这篇文章的重点是是提到了鞍点
在学习之前，先说一些题外话，由于博主学习模式识别没多久，所以可能对许多问题还没有深入的认识和正确的理解，如有不妥，还望海涵，另请各路前辈不吝赐教。
好啦，我们开始学习吧。。
同样假设有样本集：
由于线性不可分，所以不会对每一个样本都满足，就是说肯定会有一些小于1的样本，对于这些样本我们怎么办呢，想象一下，如果我们在不等式两边同时加上一个正数，是不是总会让它不小于1，基于这样一个想法，我们对每一个样本引入一个非负的松弛因子将上述不等式变为：
(1)
当样本出现错分时，则该样本对应的，为了保证式（1）非负，那么必然>0，而对于那些被正确分类的样本来说，=0；为了保证分类的准确性和可靠性，就是在样本不可分的情况下，我们要尽可能少的出现错分，因此可以通过对错分样本对应的松弛因子求和来增加对错误的惩罚，这个求和用来来表示在整个训练样本集上的样本错分程度，当这个求和越小，表明错分程度越小；回忆下之前的线性可分下的SVM它的目标函数，在它的基础上我们通过增加一个惩罚项来定义不可分下的目标函数： (2)
在上述目标函数中，我们的目的有两个：（1）使分类间隔尽可能大；（2）使错分程度尽可能小；gamma表示在上述两个目的之间的平衡参数，这个参数比较重要，值的选择很关键，值太大时，说明我们对样本错分的容忍小，值太小，说明对错分容忍稍大，而比较重视大间隔分类。
基于上面两个期望，同样使用拉格朗日乘法来求解：
（3）
较可分情况而言，这是一个广义的最优分类面问题，具体求解方法同可分情况类似，这里不再赘述，详细过程请见/eternity1118_/article/details/51474693。
对上式泛函求导（注意上面的连接没有写清楚Q(a) 是怎么来的，所以这里可以跳过，看别的资料即可），得到下面的解：
（4）
（5）
注意，这里的跟线性可分下的不同，这里不再只是单单的大于0就行，而是 (6)
另外得到w的解：
（7）
于是广义问题的判别函数为：
（8）
到这里，你会发现上面几个式子和线性可分下的完全一模一样，唯一的不同是多了一个上界C。
下面，来看一看这种情况下的支持向量都有哪些样本组成。
根据库恩-塔克条件（KKT条件），泛函的鞍点出满足以下式子：
(9) 以及(10)
对右边式子来说，=C时，才有>0，此时这些对应的样本正是被错分的样本，而本身非负，所以其余的样本对应=0；
对左边式子来说，与之前分析的一样，{}中的那一项等于0时，才有可能使得>0，此时这些样本又分为两类，一类是正确分类但是位于分类边界面上的样本，它们满足，=0；一类是被错分的样本，它们满足=C，>0。上述两类样本组成了不可分下的支持向量，一类叫做边界支持向量，一类叫做错分支持向量。同样b的获得，可以通过对的样本代入公式（9）得到，也可以进一步取平均。
至此，可以发现，线性不可分的情况包含了可分的情况的，所以我们通常所说的SVM其实就是广义的最优分类面形式，即无需考虑样本可分不可分。
