以某图片分析为例，Softmax可能会得出图片属于某一特定类别的概率，如表10-1所示。
Softmax层是紧挨着输出层，并在输出层之前的神经网络层。Softmax层必须和输出层拥有一样的节点数（见图10-38）。
Softmax方程式如下：
$$
p ( y = j | \mathbf { x } ) = \frac { e ^ { ( \mathbf { w } _ { j } ^ { T } \mathbf { x } + b _ { j } ) } } { \sum _ { k \in K } e ^ { ( \mathbf { w } _ { k } ^ { T } \mathbf { x } + b _ { k } ) } }
$$
此公式本质上是将逻辑回归公式延伸到了多类别。以下是Softmax的变体：
完整Softmax是我们一直以来讨论的 Softmax，也就是说，Softmax针对每个可能的类别计算概率。
候选采样指Softmax针对所有正类别标签计算概率，但仅针对负类别标签的随机样本计算概率。例如，如果想要确定某张输入图片是波音737飞机还是波音747飞机的图片，就不必针对每个非飞机样本提供概率。类别数量较少时，完整Softmax代价很小，但随着类别数量的增加，代价会变得极其高昂。候选采样可以提高处理具有大量类别问题的效率。
●Softmax假设每个样本只是一个类别的成员。但是，一些样本可以同时是多个类别的成员。对于此类示例：
人工智能与大数据技术导论
342