奎克的藏经阁 · 原书印刷页

人工智能哲学 · 第 280 页

PDF 物理页索引 288 · 人工智能哲学

书名
人工智能哲学
作者
未记录
印刷页
280
PDF 物理页
288(从 0 开始)
章节
人工智能哲学
UUID
7f418071-0fdc-4a5a-a4c5-82dd1979d9c2
来源类型
original_book
页面 SHA-256
7a9012d9d3c56cc91a169ba59372e3102d5fd0154fb02b646aea40453f4c5c78

联合编码

一种方法是预先为X和Y值的每一可能组合拨出一个单元。这相当于用大量小的、不交叠的区域覆盖这一平面,每个区域使用一个单元。于是一个点就用单个单元中的活动性来表示,所以这是定位表述。对每一可区分的特征,使用一个单元,由于有一些单元代表两个维度中每一个纬度上的值的联合,结合问题就得到解决。一般情况下,若允许在特定的特征组合与某种输出或其他激活模式之间形成任意的联系,那么都可能需要某种联合表述。

然而,这种定位编码的代价很大。比起前面的方案来,它的效率要低得多,因为对平面中一个点的准确描述的精度只与单元数的平方根成正比。一般情况下,对一个k维特征空间来说,这种定位编码产生的精度与单元数的k次根成正比。在不涉及结合问题的情况下,这样得到高精度的代价是很大的。

如果在每一情况中,都有数量非常之大的特征出现,那么对每一个可区分特征使用一个单元,也许是一种合理的编码,这样,这些单元之中有一大部分是活动的。但是,如果同时出现的只是可能特征之中一个很小的部分,这种编码的效率就非常之低。如果这种单元只在一半时间里是活动的,由一个二进制单元的状态传递的平均信息量就是一个比特,而如果这个单元只偶尔是活动的,平均信息量就小得多了。1因此,使用一种在任何时刻活动单元都占较大部分的编码,将会是较有效的。如果我们放弃由单个单元的活动性来表述每个可区分特征的思想,这一点就能够实现。

人工智能哲学

[1] 开通的概念是 p的一个单元传递的信息量,是- p log p -(1 - p)log(1- p)。

280