回到图11-5B，这里的问题是，当词集单元分别由多于一个的单词激活时，是否可能实现字母/位置矢量与义素矢量之间的任意一组联系。在许多可能的特定模型中，仅考察一个就够了。让我们假定，一个活动的词集单元给所有存在于单词集合的任何一个单词的意义中的义素单元提供正输入。让我们再假定每一义素单元具有一个可变的阈值，它被动态地调整到比活动词集单元的个数恰好稍微小一点。这样，只有那些正在接收来自每一活动词集单元的输入的义素单元，才会成为活动的。
正确单词的所有义素都会被激活，因为每一个这种义素都将出现在活动单词集合的一个单词的意义中。然而，附加义素也可能被激活，因为它们可能完全是碰巧地接收到来自每一个活动词集单元的输入。要使一个义素接收的输入小于它的阈值，至少必须有一个活动单词集合不包含任何以这种义素作为其部分意义的单词。对每个活动单词集合来说，发生这种情况的概率i为 $\mathbf { i } { = } ( 1 { - } \mathbf { p } ) ^ { ( { \mathsf { w } } - 1 ) }$ ，其中p是包含这一义素的单词的比例，而w是词集单元的单词集合中单词的个数。以w一1为幂的原因是已经假定这义素不作为正确单词的部分意义，所以只剩下w一1个单词能将这义素保留在它们的意义中。
假定当一个单词在字母层次上编码时，它激活了u个词集层次上的单元。每一个不作为单词部分意义的义素，不能从每个词集单元接收输入的概率是i。因此，所有这些词集单元将给它提供输入的概率f就是
$$
\mathbf { f } = ( 1 - \mathbf { i } ) ^ { \mathbf { u } } = ~ [ 1 - ( 1 - \mathbf { p } ) ^ { ( \mathbf { w } - 1 ) } ] ~ \mathbf { \Omega } _ { \mathbf { 0 } } ^ { \mathbf { u } }
$$
据检查，当w等于1时，一个“错误肯定”的义素的这一概率减小到零。表11-1显示在p,u和w值的各种组合下的f值。注意，如果p非常小，即使w相当大，f仍可以忽略不计。这意味着，如果语义特征是相对稀疏的，即每一词义仅包含整个义素集合中的一小部分，那么每个词集单元都参与许多单词的表述的那种分布式表述就不会导致错误。所以在义素单元是全然独特的(不为过多的不同词义所共有的)情况下，词集单元可以是全然非独特的。表中的某些项目清楚地表明：对某些p值，即使词集单元个数大大小于单词数(单词与词集单元之比是w/u)，出错的机会也是可以忽略的。
11 分布式表述
289