事实上,这条直线的位置是由我们选择的决策算法决定的,基于不同算法构造的线性分类器,对这个问题可能会有不同的解决方案。譬如,我们可以考虑采用下面这个办法来解决这个问题:不再使用“一条直线”来把平面划分为两个区域,因为直线是没有宽度的,在一个很小的空间里就能放置无数条直线,如果改用一根有宽度的“棍子”去代替“直线”,当有了宽度之后就不可能在两类邮件样本之间再塞入无数根“棍子”了。然后,我们再进一步把“棍子”的宽度慢慢变大,空间中能塞入的“棍子”的数量会越来越少,直至只有唯一的一根“棍子”能够塞进去为止,这根“棍子”的边缘已经触碰到两边最接近它的点了,无法再被挪动。最后,我们重新拿出要划分空间的那条直线,安放在这根“棍子”的正中间,这个位置是唯一的,如图 6-18 所示。
采用这种办法来解决最佳空间划分问题的线性分类器,其实是“支持向量机”(Support Vector Machine,SVM)中的一种最简化情况,称为“线性支持向量机”(Linear SVM,LSVM)。上面例子中描述的“棍子的宽度”在支持向量机中被称为“边距”(Margin),接触到“棍子”边缘的向量被称为“支持向量”(Support Vector)。
204
第三部分 第三波高潮