人工智能哲学

在视觉脑皮层中，响应视网膜映像的复杂特征的单元，常常有着相当大的接受场。这常被解释为走向平移不变表述方式的第一步。然而，这些大型场的功能也可能不是实现平移不变性，而是精确指出这个特征在哪里！

粗糙编码的局限性。至此，仅仅谈到粗糙编码的优点，而忽略了它有问题的一些方面。当“接受场”变得太大时，就会出现许多限制，以致造成粗糙编码策略的失败。当这种场在大小上变得相当于整个空间时，会出现一个明显的限制。这一限制一般不起什么作用，因为在接受场变得这样大之前，别的更严峻的问题就出现了。

只有在必须表述的特征相对稀疏的时候，粗糙编码才是有效的。如果许多特征点拥挤在一起，每个接受场将包含许多特征，同时这些粗糙编码单元中的活动模式将不能在特征点的许多备选组合之间作出区分。(如果使这些单元具备反映落入它们接受场内的特征点的个数的整体活动水平，那么只有附近少数几个点可以被接受，而不是许多点。）因而存在着分辨率/精度的权衡比较。如果特征分得很开，因而高分辨率也并非需要，那么粗糙编码就能给特征参数以高精度。作为一种粗浅的经验，接受场的直径应当与同时出现的特征点之间的间隔具有相同的数量级。[1]

人工智能哲学

282

如果已知粗糙编码之所以优于定位编码，是因为它通过使每个单元更经常地活动，从而更有效地利用了单元的信息携带能力，那么对粗糙编码只有在特征点稀疏的情况下才是有效的这一事实，就不应该感到奇怪了。如果特征点十分密集，以致这些单元在使用定位编码的大约一半时间里是活动的，粗糙编码只能使事情更糟。

使用粗糙编码的第二个主要限制源于这一事实：一个特征的表述必须用于对其他表述产生影响。如果在这些特征能够对其他表述产生恰当作用之前，必须将它们重编码为微调单元中的活动性，那么使用粗糙编码就失去了意义。如果我们假定一个分布式表述的作用是组成这一表述的各个活动单元的作用之和，那么对于可以有效使用粗糙编码的条件就存在着一个很强的限制。相近的特征将由相似的活动单元组来编码，因此它们将不可避免地趋于有相似的作用。大体上说，只有当一个特征所需的作用是相邻特征所需作用的平均值时，粗糙编码才是有用的。在足够细小的尺度上，对于空间作业来说，这几乎总是成立的。使它失效的那一尺度确定了接受场大小的上限。

另一限制是，每当粗糙编码的表述方式相互作用时，就存在着粗糙性增长的趋势。要减少这种趋势，可能需要在每个表述内部进行横向抑制运作。这个问题需要进一步研究。

向非连续空间的扩展。通过把一组条目看作一个接受场的等价物，作为粗糙编码基础的原理就可以推广到非连续空间。定位表述对每一可能存在的条目使用一个单元。分布式表述将一个单元用于一组条目，并以隐含方式将一个特定条目编码为几个活动单元对应组的相交。

11 分布式表述

[1]有趣的是，许多几何学上的视错觉印证了在相隔距离比主体特征位置认识中的不确定性大得多的情况下的特征之间的相互作用。这正是使用粗糙编码精确表述复杂特征时可望出现的情况。

283

在空间特征的领域中，规律性一般是很强的：有着相似参数值的特征的集合，对其他表述的作用必须是相似的。粗糙编码之所以有效，是因为它允许这种规律性表现在联结强度中。在其他领域里，规律是不同的，但有效性的论据是相同的：把一个单元用于一组条目比用于单一条目更为有利，只要这组条目是以如下方式选择的：该组的成员资格与其他组的成员资格有所牵连。于是，就可以将这种牵连关系作为联结强度。理想的情况是，组的选择应当使本组的成员资格与也是由个体单元编码的另外一些组的成员资格具有强牵连关系。

我们用一个十分简单的例子来说明这些论点。我们考察一种微型语言，它是由三个字母的英语单词组成的，其构词方式是在w或1后面接 i 或 e，再在后面接 g或 r。字母串 wig 和 leg 是单词，而 weg,lig 及所有以r结尾的字母串都不是。假定我们想要使用一个分布式表述方案作为表述这些单词的基础，并且我们希望能够使用分布式模式作为判定一个字母串是单词还是非单词的基础。为简单起见，我们将使用单一的“判断”单元。问题是找出从表述单词的单元到判断单元的联结，使得只要一个单词出现时，判断单元就启动，而出现的不是单词时，判断单元就不启动。[1]

图11-4表示三种表述方案：一个不起作用的分布式方案、一个起作用的分布式方案和一个定位式方案。在第一种方案里，每个字母/位置组合是由不同单元代表的。由于只有五种字母/位置组合的可能性，所以只有五个单元具有与输出单元的联结。每个单词和非单词在这五个单元之上产生一个不同的并且是惟一的模式，但是从这五个单元到判断单元的联结，不能以这种方式建立：只要有一个单词出现，判断单元就启动，同时只要有一个非单词出现，判断单元就不启动。

人工智能哲学

[1]注意，如果这个判断单元由一组单元替代，并且该网络的任务是产生一个关于单词和非单词判断的不同模式，这个问题仍然如此。因为当我们考查每个单元时，该单元在这两种模式中或是取相同的值，或是取不同的值；在值相同的情况下没有问题，但是这样的单元同时也不区分这两种模式。当值不同时，单元的行为正如本文讨论过的那种单一判断单元一样。

284

产生这个问题的原因很简单：字母/位置单元与判断单元之间的联结所能达到的程度，仅限于每个字母指明这个字母串是不是一个单词的程度。g很可能表明一个单词的出现，而r则表明这个条目不是单词；但是在这个例子中，如果分别地看待其他每一个字母，它们都绝对不具有预言能力。

一个字母串是不是一个单词，是不能从字母串所包含的各个字母中得出明确结论的；还必须考虑它包含哪些字母组合。因而，我们需要一种表述，它以充分满足网络目标的方式获得字母组合所表现的东西。我们可以通过使用定位表述，以及为每个词分配一个节点的方式，像图11-4中的第3图那样，来获得这一点。然而，重要的是要看到：我们没有必要始终采用定位表述方法来解决我们网络的问题。联合分布式表述是能做到这一点的。

图中第2图表示的方案提供一个联合分布式表述。在这方案中，有一些用于成对字母的单元，这些单元在这有限的词汇中碰巧获得了对于确定一个字母串是不是一个单词来说至关重要的那些组合。当然，它们是wi对和le对。这些联合单元，连同从g单元到判断单元的直接输入，足以构成一个网络，它对所有由w或1后接i或e再接g或r所组成的字母串作出正确的分类。

11 分布式表述

285

这个例子说明，如果要用分布式表述来解决那些很可能对网络提出的问题，联合编码常常是必不可少的。这一论点可以用许多别的例子来说明—不可兼或问题就是个经典的例子(Minsky and Papert 1969)。需要某种联合编码的问题的其他一些例子见欣顿著作(Hinton1981)以及第7和第8章。联合编码对心理学模型的应用见第18章。

在根本不用任何联合编码的情况下，某些问题(大多是非常简单的问题)也能得到解决，而另一些问题将需要每次多于两个单元的联合。一般很难事先准确规定所需联合的“阶”是什么。较好的办法倒是找到能发现恰当表述的一种学习方案。第7和第8章中提出的机理，是朝着这个目标迈出的两步。

实现两个领域之间的任意映射

留心的读者一定注意到了：在我们刚刚考察过的例子中，采用定位表述总是有效的。然而，我们已经探讨了分布式表述所以更为可取的几个理由。其一是它们能比定位表述更有效地使用并行硬件。

这一节要说明的是，一组单元中的分布式表述怎样能引起另一组单元中的一个恰当的分布式表述。我们来考察在这两个组中实现表述间的任意配对的问题，我们采用的例子是前面例子的扩展：一个单词的直观形式与它的意义之间的联系。所以要考察一个任意映射，是因为这是定位表述看起来最有用的场合。如果在这场合分布式表述更好，那么在一些存在着基本规律性，而这些规律可以通过一组单元和另一组单元上的活动模式的规律性来获取的场合，分布式表述肯定更好。关于在这些场合分布式表述所具有的优越性的讨论，见第18章。

如果我们把问题限制于单语素结构的单词，那么从知道何种字母串意指什么无助于我们预测一个新字母串意指什么的意义上，从字母串到意义的映射具有任意性的特点。1]从字母到意义的映射中的这种任意性，把似然性赋予了具有显式词单元的模型。显然，如果存在这样的单元，任意映射就能实现。一个字母串正好激活一个词单元，而这又激活了我们希望与之联系的任何一种意义(见图11-5A)。于是相似的字母串的语义可能是完全独立的，因为它们是由分离的词单元作中介的。这里完全不存在作为分布式表述特性的自动概括。

人工智能哲学

286

如果在一个系统中，单元的中间层把单词编码为分布式活动模式，而不是编码为单个定位单元中的活动，那么从直觉上就完全看不出这种系统能实现任意映射。分布式备选方案看来有严重的缺点。一个活动模式对其他表述的作用是这一模式中许多活动单元个别作用合起来的结果。所以相似的模式往往有相似的作用。看来我们不能随意地使一个给定的模式具有我们所希望的对意义表述的作用，而不同时改变其他模式所具有的作用。看来这种相互作用使得从单词的分布式表述到意义表述的任意映射难以实现。现在我们要说明的是，这些直觉是错误的，单词的分布式表述可以非常有效地工作，甚至可能比单个词单元更为有效。

图11-5B显示一个三层系统，其中字母/位置单元馈入单词集合单元，接着该集合单元又馈入语义或义素单元。这一类型的模式以及与之关系密切的变体，已经由威尔肖(Willshaw1981)、V·多布森(V.Dobson，个人通信1984)和D·齐普泽(D. Zipser，个人通信1981)分析过；某些与之有关的进一步的分析在第12章中讨论。为简单起见，我们假定每个单元或是活动的，或是不活动的，并且不存在反馈或交叉联结。这些假定也可以放宽，而不会对论证产生实质性的作用。每当字母/位置单元的模式为一个特定集合中的一个单词编码时，一个单词集合单元就被激活。例如，这集合可能是所有以HE开头的四字母单词，或是所有至少包含两个T的单词。这里所要求的只不过是，能够通过应用对被激活的字母/位置单元的简单测试，来确定一个单词是否在这一集合中。所以例如所有意指“美好”的单词的集合，就不可能成为一个单词集合。这里有一个隐含的假定：词意要能够表示为义素集合。这一论点尚有争议。成分分析的观点认为，意义是一组特征，结构主义的观点认为，单词的意义只能根据它与其他意义的关系来定义，这两种观点之间看来存在着一道鸿沟。我们在本章稍后的地方考察一种把这两种观点结合起来的方法，其做法是让接合的表述方式由活动特征的许多不同的集合构建而成。

11 分布式表述

[1] 其至对单语素结构的单词来说，也可能存在与意义有联系的特定片断。例如，以sn开头的单词，通常指以嘴唇或鼻子所表现出的使人不愉快的样子(讥笑、咆哮、窃笑)，而带长元音的单词比带短元单的单词更有可能表示大的，慢的东西(G.Lakoff，个人通信)。L.卡罗尔(Lewis Carroll)的许多诗靠的就是这些效果。

287

人工智能哲学

288

回到图11-5B，这里的问题是，当词集单元分别由多于一个的单词激活时，是否可能实现字母/位置矢量与义素矢量之间的任意一组联系。在许多可能的特定模型中，仅考察一个就够了。让我们假定，一个活动的词集单元给所有存在于单词集合的任何一个单词的意义中的义素单元提供正输入。让我们再假定每一义素单元具有一个可变的阈值，它被动态地调整到比活动词集单元的个数恰好稍微小一点。这样，只有那些正在接收来自每一活动词集单元的输入的义素单元，才会成为活动的。

正确单词的所有义素都会被激活，因为每一个这种义素都将出现在活动单词集合的一个单词的意义中。然而，附加义素也可能被激活，因为它们可能完全是碰巧地接收到来自每一个活动词集单元的输入。要使一个义素接收的输入小于它的阈值，至少必须有一个活动单词集合不包含任何以这种义素作为其部分意义的单词。对每个活动单词集合来说，发生这种情况的概率i为 $\mathbf { i } { = } ( 1 { - } \mathbf { p } ) ^ { ( { \mathsf { w } } - 1 ) }$ ，其中p是包含这一义素的单词的比例，而w是词集单元的单词集合中单词的个数。以w一1为幂的原因是已经假定这义素不作为正确单词的部分意义，所以只剩下w一1个单词能将这义素保留在它们的意义中。

假定当一个单词在字母层次上编码时，它激活了u个词集层次上的单元。每一个不作为单词部分意义的义素，不能从每个词集单元接收输入的概率是i。因此，所有这些词集单元将给它提供输入的概率f就是

$$
\mathbf { f } = ( 1 - \mathbf { i } ) ^ { \mathbf { u } } = ~ [ 1 - ( 1 - \mathbf { p } ) ^ { ( \mathbf { w } - 1 ) } ] ~ \mathbf { \Omega } _ { \mathbf { 0 } } ^ { \mathbf { u } }
$$

据检查，当w等于1时，一个“错误肯定”的义素的这一概率减小到零。表11-1显示在p,u和w值的各种组合下的f值。注意，如果p非常小，即使w相当大，f仍可以忽略不计。这意味着，如果语义特征是相对稀疏的，即每一词义仅包含整个义素集合中的一小部分，那么每个词集单元都参与许多单词的表述的那种分布式表述就不会导致错误。所以在义素单元是全然独特的(不为过多的不同词义所共有的)情况下，词集单元可以是全然非独特的。表中的某些项目清楚地表明：对某些p值，即使词集单元个数大大小于单词数(单词与词集单元之比是w/u)，出错的机会也是可以忽略的。

11 分布式表述

289

错误肯定义素的概率f，是按每个单词计的活动词集单元数u、每个单词集合中的单词数w和义素作为部分词义的概率p的函数。

上述例子作了许多简化假定。例如假定每个词集单元是与每个相关义素单元相联结的。如果失去任何一个这样的联结，我们就无法为这些义素单元提供与活动词集单元数相等的阈值。考虑到失去联结的情况，我们可以降低阈值。这将提高错误划类的出错率，但是这作用也许很小，并且通过增加词集单元，使得单词层次表述的独特性有所提高，这作用可得到补偿(Willshaw1981)。或者我们可以使每个词集单元否决那些在单元的任何单词中都不出现的义素。这一方案有效地抵制了联结的消失，因为如果存在着其他否决，缺少一种否决是可以允许的(V. Dobson，个人通信1984)。

人工智能哲学

290

还有两种简化假定，就任意映射作业而言，这两者都造成对分布式表述有效性的低估。首先，这些演算假定，在最经常出现错误的场合，根本不存在用增加一些加权值并减少另一些加权值来改善性能的微调过程。第二，这些演算略去了存在于义素之间的交叉联结。如果每一词义都是一些义素的一个常见的稳定模式，那么就存在着一个强“清理”作用，对一个特定的词义来说，一旦义素层次上的激活模式充分接近常见模式，该作用势必抑制错误的义素。义素之间的相互作用也为单一字母串(例如bank)引出两种完全不同意义的能力提供了解释。激活词集单元自下向上的作用对两种义素集合都有帮助，但是在自上向下的因素对一种意义有利的同时，另一意义中的义素将被义素层次上的竞争性的相互作用所抑制(Kawamoto and Anderson 1984)。

模拟。只要义素单元中间存在交叉联结，并且存在为了避免频繁出错而对各个加权值进行的微调，上面给出的较为简明的概率分析就会失效。为了给交叉联结留出时间去清理输出，必须使用一个迭代过程，而不是简单的“直通”加工，在这种加工中，每一层都用单一的同步步子完全确定下一层中的所有单元的状态。含有交叉联结、反馈和非同步加工元素的系统很可能是更符合实际的，但是一般也是很难分析的。然而，我们现在开始发现，存在着这些较复杂系统的子类，它们的行为方式是易干处理的。第7章中较详细地叙述了一个有关这种子类的例子。它使用了一些表现出固有随机特性的加工元素。出乎意料的是，采用随机元素之后，这些网络得以更好地执行搜索，更好地学习，也更容易分析。

11 分布式表述

291