什么是 SVM ？
Support Vector Machine, 一个普通的 SVM 就是一条直线罢了，用来完美划分 linearly separable 的两类。但这又不是一条普通的直线，这是无数条可以分类的直线当中最完美的，因为它恰好在两个类的中间，距离两个类的点都一样远。而所谓的 Support vector 就是这些离分界线最近的『点』。如果去掉这些点，直线多半是要改变位置的。可以说是这些 vectors （主，点点） support （谓，定义）了 machine （宾，分类器）...
-
+
所以谜底就在谜面上啊朋友们，只要找到了这些最靠近的点不就找到了 SVM 了嘛。
@@ -223,45 +223,45 @@ Support Vector Machine, 一个普通的 SVM 就是一条直线罢了，用来完
于是自然而然可以得到重要表达 I. direct representation
-
+
（可以把 margin 看作是 boundary 的函数，并且想要找到使得是使得 margin 最大化的boundary，而 margin(*) 这个函数是：输入一个 boundary ，计算（正确分类的）所有苹果和香蕉中，到 boundary 的最小距离。）
又有最大又有最小看起来好矛盾。实际上『最大』是对这个整体使用不同 boundary 层面的最大，『最小』是在比较『点』的层面上的最小。外层在比较 boundary 找最大的 margin ，内层在比较点点找最小的距离。
-其中距离，说白了就是点到直线的距离；只要定义带正负号的距离，是 {苹果+1} 面为正 {香蕉-1} 面为负的距离，互相乘上各自的 label  ，就和谐统一民主富强了。
+其中距离，说白了就是点到直线的距离；只要定义带正负号的距离，是 {苹果+1} 面为正 {香蕉-1} 面为负的距离，互相乘上各自的 label  ，就和谐统一民主富强了。
-
+
到这里为止已经说完了所有关于SVM的直观了解，如果不想看求解，可以跳过下面一大段直接到 objective function 。
直接表达虽然清楚但是求解无从下手。做一些简单地等价变换（分母倒上来）可以得到 II. canonical representation （敲黑板）
-
+
要得到 III. dual representation 之前需要大概知道一下拉格朗日乘子法 (method of lagrange multiplier)，它是用在有各种约束条件(各种 "subject to" )下的目标函数，也就是直接可以求导可以引出 dual representation（怎么还没完摔）
-
+
稍微借用刚刚数学表达里面的内容看个有趣的东西：
还记得我们怎么预测一个新的水果是苹果还是香蕉吗？我们代入到分界的直线里，然后通过符号来判断。
-刚刚w已经被表达出来了也就是说这个直线现在变成了： 
+刚刚w已经被表达出来了也就是说这个直线现在变成了： 
-看似仿佛用到了所有的训练水果，但是其中  的水果都没有起到作用，剩下的就是小部分靠边边的 Support vectors 呀。
+看似仿佛用到了所有的训练水果，但是其中  的水果都没有起到作用，剩下的就是小部分靠边边的 Support vectors 呀。
III. dual representation
-
+
如果香蕉和苹果不能用直线分割呢？
-
+
Kernel trick.
-其实用直线分割的时候我们已经使用了 kernel ，那就是线性 kernel , 
+其实用直线分割的时候我们已经使用了 kernel ，那就是线性 kernel , 
如果要替换 kernel 那么把目标函数里面的内积全部替换成新的 kernel function 就好了，就是这么简单。
@@ -269,13 +269,13 @@ Kernel trick.
如果香蕉和苹果有交集呢？
-
+
-
+
如果还有梨呢？
-
+
可以每个类别做一次 SVM：是苹果还是不是苹果？是香蕉还是不是香蕉？是梨子还是不是梨子？从中选出可能性最大的。这是 one-versus-the-rest approach。
@@ -289,7 +289,7 @@ Kernel trick.
最后送一张图我好爱哈哈哈 (Credit: Burr Settles)
-
+
[1] Bishop C M. Pattern recognition[J]. Machine Learning, 2006, 128.
[2] Friedman J, Hastie T, Tibshirani R. The elements of statistical learning[M]. Springer, Berlin: Springer series in statistics, 2001.
@@ -311,7 +311,7 @@ Kernel trick.
SVM 的基本原理基本上已经说的差不多了，下面咱们就来看看 SVM 在实际应用该如何使用了。幸运的是，在 python 下面，sklearn 提供了一个非常好用的机器学习算法，我们调用相关的包就好啦。
-
+
## 小结