一对多提供了一种利用二元分类的方法。鉴于一个分类问题会有N个可行的解决方案，一对多解决方案包括N个单独的二元分类器，每个可能的结果对应一个二元分类器。在训练期间，模型会训练一系列二元分类器，使每个分类器都能回答单独的分类问题。以一张狗的照片为例，可能需要训练5个不同的识别器，其中4个将图片看作负样本（不是狗），1个将图片看作正样本（是狗），即：
这是一张苹果的图片吗？不是。
这是一张熊的图片吗？不是。
这是一张糖果的图片吗？不是。
这是一张狗的图片吗？是。
这是一张鸡蛋的图片吗？不是。
当类别总数较少时，这种方法比较合理，但随着类别数量的增加，其效率会变得越来越低。我们可以借助深度神经网络（在该网络中，每个输出节点表示一个不同的类别）创建明显更加高效的一对多模型。
10.3.2 Softmax
在某些问题中，我们知道示例一次只属于一个类别。例如，一种指定的水果要么是香蕉，要么是梨，要么是苹果。在这种情况下，我们希望所有输出节点的概率总和正好是1。要实现这一点，可以使用一种名为Softmax的函数。
我们已经知道，逻辑回归可生成介于0和1.0之间的小数。例如，某电子邮件分类器的逻辑回归输出值为0.8，表明电子邮件是垃圾邮件的概率为80%，不是垃圾邮件的概率为20%。很明显，一封电子邮件是垃圾邮件或非垃圾邮件的概率之和为1.0。Softmax将这一想法延伸到多类别领域。也就是说，在多类别问题中，Softmax会为每个类别分配一个用小数表示的概率。这些用小数表示的概率相加之和必须是1.0。与其他方式相比，这种附加限制有助于让训练过程更快速地收敛。Softmax本质上是对我们所使用的这种逻辑回归的泛化，只不过泛化成了多个类别。在遇到单一标签的多类别分类问题时，我们会使用Softmax。
第10章 神经网络
341