svmNote - juedaiyuer/researchNote GitHub Wiki

#svm笔记#

按照自己的学习步骤和进度进行的SVM学习笔记

##了解SVM##

支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划（convex quadratic programming）问题的求解,也等价于正则化的合页损失函数的最小化问题

二类分类模型

###分类标准的起源：logistic回归###

logistic函数，又称为sigmoid函数

其中x是n维特征向量，函数g就是logistic函数

无穷映射到了（0,1），假设函数就是特征属于y=1的概率

当我们要判别一个新来的特征属于哪个类时，只需要求出P即可，P>0.5就是y=1的类

####变形####

结果标签y=0和y=1替换为y=-1，y=1

###线性分类的一个例子###

如何确定这个超平面，从直观上而言，这个超平面应该是最适合分开两类数据的直线。而判定“最适合”的标准就是这条直线离直线两边的数据的间隔最大。所以，得寻找有着最大间隔的超平面。

###函数间隔Functional margin与几何间隔Geometrical margin###

几何间隔就是函数间隔除||w||

超平面方程

超平面由法向量w和截距b决定，法向量指向的一侧为正类，另一侧为负类

函数间隔

在超平面wx+b=0确定的情况下，|wx+b|能够相对地表示点x距离超平面的远近。wx+b的符号与类标记y的符号是否一致能够表示分类是否正确。所以可用变量y(wx+b)来表示分类的正确性及确信度-统计学习方法（李航）

函数间隔可以表示分类预测的正确性及准确度，但是选择分类超平面时，只有函数间隔还不够，因为只要成比例地改变w和b,，比如说2w和2b,超平面并没有改变，但是函数间隔却称为原来的2倍

几何间隔

统计学习方法

###最大间隔分类器Maximum Margin Classifier的定义###

**对一个数据点进行分类，当超平面离数据点的“间隔”越大，分类的确信度（confidence）也越大。**所以，为了使得分类的确信度尽量高，需要让所选择的超平面能够最大化这个“间隔”值。这个间隔就是下图中的Gap的一半。

很喜欢统计学习方法中关于最大间隔的描述：

不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开，这样的超平面应该对未知的新实例有很好的分类预测能力-统计学习方法

统计学习方法中关于最大间隔法

虚线上的点便叫做支持向量Support Vector，在线性可分情况下，训练数据集的样本点中与分离超平面最近的样本点的实例

满足公式：y(wx+b)-1=0

在决定分离超平面时只有支持向量起作用

统计学习方法Page:115定义

##深入SVM##

###学习的对偶算法###

应用拉格郎日对偶性，通过求解对偶问题（dual problem）得到原始问题（primal problem）的最优解，这就是线性可分支持向量机的对偶算法（dual algorithm）,优点为对偶问题更容易求解，引入核函数，进而推广到非线性分类问题

求解步骤

将拉格郎日函数L（w,b,a）分别对w,b求偏导数并令其等于0

将以上的结果代入之前的L

###线性可分到线性不可分###

##source##

• 支持向量机通俗导论（理解SVM的三层境界）-为知笔记-已归档
• 支持向量机（SVM）算法
• 浙江大学研究生课件—统计学习理论与支持向量机SVM(百度云盘-已归档)
• 统计学习方法-李航 第7章 支持向量机（Page:111-已归档）

##book##

• 支持向量机导论