虽然递归神经网络无法进行真实的对话,但它们仍在彻底地改变我们处理在线文本的方式。只要有足够大的词语数据库,这些神经网络就可以将一种语言翻译成另一种语言,可以自动给图片中的场景贴上相应的标签,也可以提供高级的语法检查。托马斯、奥里奥尔和谷歌的其他数据科学家早就创建了基本的神经网络框架,能够为翻译问题和贴标签的歧视问题提供解决方案,而且这些解决方案比大多数已有的“自上而下”的方法要好。因为科学家只需要在神经网络中输入大量的词语,让神经网络进行学习即可。
进步指日可待,因为神经网络的隐藏层创造了一种对文字进行“数学运算”的方法。在上一章中,我们了解到词语可以用多维向量来表示。向量的加减让我们可以测验单词类比。递归神经网络提供了更复杂的函数以映射词语间的关系。网络能找到反映我们语法规则、标点符号并识别句子中重要单词的函数。
通过研究一个被训练来翻译句子的神经网络,奥里奥尔和他的同事得以更好地理解这种技术是如何工作的。他们发现意义相近的句子“在花园里,我被她给了一张卡片”“在花园里,她给了我一张卡片”“在花园里,她被我给了一张卡片”等,能够在神经网络的隐藏层内生成相似的激活模式。由于这些句子中的词语顺序差别很大,我们可以认为隐藏层提供的是一个概念性的理解:意思相同的句子聚类在一起,每个聚类反映一个不同的概念。正是这种聚类为句子提供了一个基础“意思”,通过它,循环神经网络可以在不同语言间进行翻译,并将词语分配到对应的图像。
当我们深入研究递归神经网络时,我们也能看到它们存在局限的原因。问题不在于我们需要提供更大的词语数据库以使它们获得更强的理解力。它们的理解力有限,是因为它们一次只能接收大约25个词语。如果我们尝试输入更多的词来训练一个神经网络,它对概念的理解能力就开始分崩离析。如果要用一个以上的句子来解释一个概念,那么神经网络是不能表达这个概念的,它更无法表达一部好小说或者一次精彩对话所蕴含的观念。
第三部分 人工智越能的未来类了吗?
199