之所以被称作朴素贝叶斯，是因为我们假设每个输入变量都是独立的。这是一个强假设，在真实数据中几乎是不可能的。但对于很多复杂问题，这种方法非常有效。
6.1.6 K最近邻算法
K最近邻算法（KNN）是一个非常简单有效的算法。KNN的模型表示整个训练数据集。对于新数据点的预测是：寻找整个训练集中K个最相似的样本（邻居），并对这些样本的输出变量进行总结。对于回归问题，可能意味着平均输出变量。对于分类问题，则可能意味着类值的众数（最常出现的那个值）。诀窍是如何在数据样本中找出相似性。最简单的方法是，如果你的特征都是以相同的尺度（比如都是英寸）度量的，就可以直接计算它们互相之间的欧式距离。如图6-7所示为K最近邻算法的例子。
KNN需要大量空间来存储所有的数据。但只是在需要进行预测的时候才开始计算(学习)。你可以随时更新并组织训练样本以保证预测的准确性。在维数很高(很多输入变量)的情况下，这种通过距离或相近程度进行判断的方法可能失败。这会对算法的性能产生负面的影响，被称作维度灾难。建议只有当输入变量与输出预测变量最具有关联性的时候使用这种算法。
6.1.7 学习矢量量化
K最近邻算法的缺点是需要存储所有训练数据集。而学习矢量量化（LVQ）是一个人工神经网络算法，允许选择需要保留的训练样本个数，并且学习这些样本看起来应该具有何种模式。如图6-8所示为学习矢量量化的例子。
人工智能与大数据技术导论
168