如图6-16所示的平面中的点显然无法用直线分开。即使引入松弛因子也不行，因为这本质上就不是线性可分的问题。但设想我们会使用某种“魔法”，能让这些点漂浮到空间中去，并且外围的点飘得更高，内圈的点飘得略低，就像图6-17一样。这样我们就可以用一张纸将这个漂浮的空间切断，实现两种点的分离。将这张纸还原到原平面中去是一条曲线。
这个映射对应的规则是：
在实际应用中，上述的空间变换是通过核变换实现的。核变换的表达形式与上面的公式不太相同。虽然SVM从本质上来说一种线性分类器，但Kernel SVM将核变换与线性分类器结合，使得SVM可以解决非线性问题。可以处理非线性边界问题是SVM最大的优势之一。
6.3 逻辑回归算法
LogisticRegression（逻辑回归）是一种常见的分类模型。我们不要被名字所惑，逻辑回归是一个分类模型，也就是说，要使用这个模型，标签数据必须是离散型变量。最简单的离散型变量是二元离散型变量（binaryvariable），即变量只取两个值：0或者1。逻辑回归之所以带有“回归”二字，是因为它以线性回归为基础演化而来，与线性回归的表达形式相似。
让我们先回顾一下线性回归。线性回归用来刻画连续型变量y与若干变量 $^ { \mathrm { x 1 , x 2 , } }$ ..之间的线性关系，其基本形式为：
$$
\mathbf { y } = \mathbf { a } 0 + \mathbf { a } 1 \mathbf { x } 1 + \mathbf { a } 2 \mathbf { x } 2 + \ldots + \mathbf { a } \mathbf { m } \mathbf { x } \mathbf { m }\tag{1}
$$
逻辑回归在上面公式的基础上对右侧施加一个叫作sigmoid的函数：
$$
\mathbf { y } = \mathbf { f } ( \mathbf { a } 0 + \mathbf { a } 1 \mathbf { x } 1 + \mathbf { a } 2 \mathbf { x } 2 + \ldots + \mathbf { a } \mathbf { m } \mathbf { x } \mathbf { m } )\tag{2}
$$
$\phi ( z ) = 1 / ( 1 + e ^ { - z } )$ 的图像如图6-18所示。
第6章 机器学习算法
173