人工智能时代：破解人机共存密码（套装共10册）

在嘈杂中找到你的声音

感知器是一个有单一神经元的神经网络。复杂度略高于感知器的次简单网络体系结构在输出层中有多个模型神经元，每个输入神经元都会连接到一个输出神经元，该结构将输入层中的模式转换为输出层中的模式。这个网络不仅可以对输入进行分类，还可以学习如何进行盲源分离。

1986年，安东尼·贝尔（见图6–2）还是一名在苏黎世联邦理工学院（ETH Zurich）进行暑期实习的本科生。他很早就对神经网络产生了兴趣，曾前往日内瓦大学聆听来自神经网络领域前辈们的4个演讲。在布鲁塞尔大学获得博士学位后，他于1993年前往拉荷亚，加入了我的实验室，担任博士后研究员。

“ 通 用 信 息 最 大 化 学 习 原 理 ” （ general infomax learningprinciple）最大限度地提高了通过网络传递的信息量。^[3]安东尼当时正在研究树突中的信号传输。树突就像细长的电缆，大脑的神经元通过附着在树突上的数以千计的突触收集信息。他凭直觉认为，通过改变树突中离子通道的密度，可以最大限度地提高树突中流通的信息量。在简化问题的过程中（忽略树突），安东尼和我发现了一种新的信息理论学习算法，我们称之为“独立分量分析（ICA）”，它解决了盲源分离问题（见方框6.1）。^[4]

独立分量分析已经有了数千个应用实例，而且已经出现在了信号处理的教科书中。^[5]在被应用于户外场景的自然图像的碎片中时，独立分量分析的独立成分是局部化的定向边缘滤波器（见图6–3），类似于猫和猴子的视觉皮层中的简单细胞（见图5–4）。^[6]采用独立分量分析方法时，只需要很少的信息源就能重建一幅图像中的一个图块，这种重建在数学上被称为“稀疏性”（sparse）。^[7]

主分量分析（PCA）和独立分量分析（ICA）之间的比较。图片中的圆点表示两个麦克风分别在垂直和水平轴上的输出。每个点的坐标是单个时间点记录在两个麦克风上的值。PCA是一种非常受欢迎的无监督学习技术，它挑选出将两个信号等分的方向，将它们的混合程度最大化，并且PCA轴始终相互垂直。ICA找到沿点的方向伸展的轴，来表示分离的信号，这些轴可能不是垂直的。

这些结果证实了20世纪60年代著名视觉科学家霍勒斯·巴洛（Horace Barlow）的猜想，那时大卫·休伯尔和托斯坦·威泽尔已经在视觉皮层中发现了简单细胞。一个图像通常包含大量的冗余信息，因为附近的像素通常具有相似的值（例如天空的像素）。巴洛猜想，通过减少自然场景表达中的冗余，^[8]简单细胞就能够更有效地传输图像中的信息。整个学界花了50年的时间，才开发出数学工具来证实他的直觉。

安东尼和我还认为，独立分量分析被应用于自然声音时，独立分量是具有不同频率和持续时间的时域滤波器，类似于在听觉神经系统初期处理部分中发现的滤波器。^[9]这使得我们相信，在试图理解感观信号是如何在视觉皮层最早期的处理阶段被表征这一基本原则的道路上，我们前进的方向是正确的。通过将这个原理扩展到线性滤波器的独立特征子空间，就可以在视觉皮层中建立复杂细胞的模型。^[10]

独立分量分析网络包含相同数量的输入和输出单元，以及把它们完全连接起来的一组权重。为解决盲源分离问题，麦克风的声音通过输入层输入，每个麦克风占有一个输入单元，而独立分量分析学习算法（类似感知器算法）不断迭代修改传递到输出层的权重，直到它们收敛。但是，不同于感知器这种监督学习算法，独立分量分析是一种无监督学习算法。它使用输出单元之间的独立性度量作为代价函数，但并不知道输出目标应该是什么。为了使输出尽可能独立，权重不断被修改，原始声源就被完美地分离开来，或者如果它们彼此并不是独立的，其相关性也会被尽可能地去除掉。无监督学习可以在许多不同类型的数据集中发现以前未知的统计结构。

将独立分量分析应用于大脑

我实验室里的其他人将安东尼·贝尔的信息最大化独立分量分析算法应用于大脑的不同类型的记录，由此引发了一系列的顿悟时刻。1924年，汉斯·伯格（Hans Berger）从头皮上记录了大脑的第一个电信号，被称为脑电图。神经科学家利用这些复杂的振荡信号来监听我们不断变化的大脑状态，这种状态随我们的警觉性和感觉运动相互作用而变化。头皮上一个电极处的电信号接收来自大脑皮层内许多不同来源的输入，也接收肌肉和眼球运动噪声的输入。每个头皮电极接收来自大脑中相同源组的混合信号，这些信号具有不同的振幅，这与鸡尾酒会上的问题如出一辙。

20世纪90年代，斯科特·马克格（Scott Makeig）是我在索尔克研究所的实验室里的研究员，他使用独立分量分析从脑电图记录中提取了大脑皮层中的几十个偶极源，以及它们各自的时间过程（见图6–4）。偶极子是大脑信息源最简单的模式之一。最简单的是由单一静电电荷产生的覆盖整个头皮的均一模式。第二简单的模式是由电流直线移动产生的偶极子模式，发生在皮层锥体神经元中。把偶极子想象成一个箭头，头皮上沿箭头的方向为正，沿箭尾的方向为负。该模式覆盖了整个头部，这就是为什么分离同时被激活的许多大脑信息源非常困难。从脑电图提取的两个信息源——IC2和IC3，大致相当于图6–4中的偶极源。独立分量分析还分离了噪声，例如眼球运动和电极噪声，这些噪声在后期可以以很高的精度被抹除（图6–4中的IC 1和IC4）。自那时起，数以千计已发表的论文都在使用独立分量分析方法分析脑电图记录，并在使用独立分量分析方法分析大量脑状态的研究领域取得了重要发现。

马丁·麦基沃恩（Martin McKeown）当时是我实验室的一名博士后研究员，具有神经学背景。他研究出了如何翻转空间和时间，将独立分量分析应用于fMRI的记录中（见图6–5）。^[11]基于fMRI的脑成像在大脑中数以万计的位置对与神经活动间接相关的血氧水平进行测量。在图6–5中，独立分量分析信息源是与其他信息源具有共同时间进程，但在空间上相互独立的大脑区域。空间域的稀疏性意味着在任何给定的时间，只有少数几个区域是高度活跃的。

因为独立分量分析是无监督的，它可以揭示能够协同工作的大脑区域网络，并能够扩充试图将区域中的活动与感官刺激或运动反应联系起来的监督技术。例如，独立分量分析已被用于揭示来自受试者的fMRI记录中的多个静息状态，这些受试者只是被要求在扫描仪中保持不动。^[12]我们仍然不了解这些静息状态意味着什么，但是它们可以代表对大脑活动负责的一部分大脑区域的组合，例如我们在做白日梦，被一件烦心事困扰，或是正在计划晚餐吃什么的时候。

最大独立性原则与稀疏编码原则有关。尽管独立分量分析揭示了许多独立的分量，但只需要其中的一小部分就能重建自然图像中指定的图块。这个原理也适用于视觉皮层，视觉皮层的细胞数量比视网膜的输入细胞多100倍。我们的每个视网膜都有100万个神经节细胞，在初级视觉皮层中有1亿个神经元——这是皮层视觉层级中的第一层。视网膜中视觉信号的紧凑编码，在皮层中被扩展为高度分布且高度稀疏的新编码。将信息扩展到更高维度空间的方法也被应用到其他的编码方案中，其中包括在听觉皮层和嗅觉皮层中发现的编码。一类被称为“压缩感知算法”（compressed sensing algorithms）的新算法将稀疏性原理进行了泛化处理，用来提高存储和分析复杂数据集的效率。[13]

什么在操控我们的言行

独立分量分析的故事说明了技术在科学和工程领域取得新发现中的重要性。我们通常将技术看作测量设备，比如显微镜和放大器。但算法也是技术，它们能够利用旧仪器获得的数据得出新的发现。脑电图技术已经存在了将近100年，但是如果没有独立分量分析，就无法确定潜在的大脑信息源，大脑本身就是一个环环相扣的算法体系，如果大脑的某些部分发现了实施独立分量分析的方法，我并不会对此感到_惊讶。[14]

20世纪90年代，在为神经元网络开发新的学习算法的过程中，也诞生了许多其他的发现，其中很多（如独立分量分析）现在都成了机器学习中的数学工具。这些算法被嵌入许多常用的设备中，不过没有一个标明了“内含神经网络”。拿耳机或手机来举个例子。Te-WonLee和Tzyy-Ping Jung曾经是我实验室的博士后研究员，他们后来创立了一家名为“SoftMax”的公司，在带有两个麦克风的蓝牙耳机中应用ICA来消除背景噪声。这样的设计能够让戴耳机的人在嘈杂的餐厅或体育赛事中听到别人说话。2007年，SoftMax被高通收购（高通为许多品牌的手机设计芯片）。而如今，类似独立分量分析的解决方案也已嵌入10亿部手机中。如果你能从运行独立分量分析的每部手机上分到一分钱，那你现在就是个千万富翁了。