人工智能时代：破解人机共存密码（套装共10册）

有一个办法就是将“《纽约时报》报道该新闻”与“《华尔街日报》报道该新闻”结合起来，变成一个拥有4个值的单个特大变量：如果它们都报道了，那就是“是是”；如果《纽约时报》报道外星人登陆，而《华尔街日报》没有，那就是“是否”；等等。这样图形就会变成一条含三个变量的链子，一切顺利。然而，每次你加入新来源时，特大变量的值的数量会翻倍。如果你有50而不是2个新来源，特大变量会有250个值。所以这种方法只能帮你帮到这里，而更有效的方法还未被人发现。

这个问题比表面看起来的还要糟糕，因为贝叶斯网络实际上有“隐形的”箭头伴随着看得见的箭头。“盗窃案”和“地震”是相互独立的先验条件，但报警器响起会使两者纠缠在一起：报警器让你怀疑有盗窃，但如果现在听广播说有地震，你会假定那是让报警器响起的原因。地震已经“通过解释消除”报警器响起的疑虑，这样盗窃就不太可能会发生，因此两者又相互依赖了。在贝叶斯网络中，所有变量的根源都以这种方式相互独立，而这反过来引入进一步的依赖关系，这就使得最后的图往往比最初的图要更加密集。

推理的关键问题是你能否使填好的图“看起来像一棵树”，而不让树干变得太密。如果枝干上的特大变量包含过多的可能值，这棵树会不受限制地生长，直到它覆盖整个星球，像《小王子》中的猴面包树一样。在生命之树中，每个物种都是一个分枝，但每个枝干内部是一个图，每个生物都有一对父母，各有一对祖父母、外祖父母，以及若干个后代等。枝干的“厚度”是物种数量的大小。当枝干过于茂密时，我们的唯一选择就是求助于近似推理。

有一个方法，珀尔在关于贝叶斯网络的书中，将其当作练习，也就是假装图形没有闭环，并来来回回传播概率，直到这些概率集中于一 点 。 这 被 人 们 称 为 “ 环 路 信 念 传 播 ” （ loopy beliefpropagation），因为它在含有闭环的图形中能起作用，也因为这是一个疯狂的想法。让人惊讶的是，在许多例子中，它能很好地起作用。

例如，这对于无线通信来说，是最先进的方法，随机变量在信息中被当作数位，以灵活的办法被编码起来。环路信念传播也可以收敛变成错误的答案，或者永远处于振荡状态。还有另一个办法，它起源于物理学，但被引入机器学习，还被迈克尔·乔丹和其他人大大扩充过：就是利用易于处理的分配来对难以处理的分配进行粗略估计，然后优化前者的参数，使其尽可能地与后者接近。

然而，最受人青睐的选择就是借酒浇愁，喝得酩酊大醉，然后整夜都在跌跌撞撞。该选择的技术术语为“马尔可夫链蒙特卡洛理论”（Markov chain Monte Carlo，MCMC）：有“蒙特卡洛”这个部分，是因为这个方法涉及机遇，比如到同名的赌场去，有“马尔可夫链”部分，是因为它涉及采取一系列措施，每个措施只能依赖于前一个措施。MCMC中的思想就是随便走走，就像众所周知的醉汉那样，以这样的方式从网络的这个状态跳到另一个状态。这样长期下来，每个状态受访的次数就与它的概率成正比。比如，接下来我们可以估算盗窃案的概率为我们访问某个状态的时间段，在这个状态中有一起盗窃案。一条“守规矩的”马尔可夫链会收敛到稳定分布中，所以过一会儿它总会给出大致一样的答案。例如，当你洗一副扑克牌时，过一会儿，所有牌的顺序都会近似，无论最初的顺序是什么。所以你知道如果有n种可能的顺序，每种顺序的概率就是1/n。MCMC的秘诀就在于设计一条马尔可夫链，收敛于我们贝叶斯网络的分布中。有一个简单的选择，就是重复循环通过所有变量，考虑其附近的状态，根据其条件概率对每个变量进行取样。人们在谈论MCMC时，往往把它当作一种模拟，但它其实不是：马尔可夫链不会模仿任何真实的程序，我们将其创造出来，目的是为了从贝叶斯网络中有效生成样本，因为贝叶斯网络本身就不是序变模式。

MCMC的起源可以追溯到曼哈顿计划，那时物理学家们需要估算中子与原子相撞的概率，并引发连锁反应。但近10年来，这引发了一场革命，常常使人们认为MCMC是有史以来最重要的算法之一。MCMC不仅有助于计算概率，也有助于求任何函数的积分。没有它，科学家们只能受限于那些用分析方法来求积分的函数，或者受限于那些良性的低维积分，这些积分可以近似看作一系列梯形。有了MCMC，科学家们就可以自由构建复杂的模型，直到计算机会挑起重担。贝叶斯学派，举个例子，可能要感激MCMC，因为MCMC和其他东西比，更能为他们的方法提高人气。

不好的一面在于，MCMC的收敛速度往往慢得让人难以忍受，或者在未完成收敛时欺骗你已经完成收敛。真正的概率分配通常非常悬殊，微小概率的大片“荒地”会突然插入“珠穆朗玛峰”。接下来，马尔可夫链会收敛到最近的顶峰，然后停留在那里，得出偏差很大的概率估算值。这就像醉鬼跟随酒的香气来到最近的酒馆，然后整夜待在那里，而不是我们想让他做的那样，到城市里游荡。另一方面，如果我们不用马尔可夫链而是只生成独立的样本，和较简单的蒙特卡落法一样，没有任何味道指引我们，而且甚至可能都找不到那个第一家酒馆。这就像往城市的地图上射飞镖，希望飞镖能恰好落在酒馆上。

贝叶斯网络中的推理不仅限于计算概率，它也包括为证据找到最可信的解释方法，最能解释症状的疾病或者最能解释Siri听到的声音的词语。这和只是在每步挑最合适的词语不一样，因为在考虑声音的情况下，单个出现可能性大的词语，一起出现时可能性就不那么大了，在“Call the please”的例子中就是如此。可是，相同种类的算法也可以对这个任务起效（实际上，多数语音识别器会用到它们）。最重要的是，推理包括做最佳决定，引导这些决定的，不仅仅是不同结果的概率，还有相应的成本（或者使用这些技术术语的实用工具）。忽略你老板的邮件，安排你明天该做的事情，这比看到垃圾邮件付出的代价还要大，所以很多时候最好允许邮件通过，即使有时候它很有可能是垃圾邮件。

无人驾驶车辆和其他机器人是实践中概率推理的最好例子。随着车转悠起来，它同时会构建行驶领域的地图，越来越肯定地找到它在地图上的方位。根据最近的一项调查，伦敦的出租车司机大脑靠后的海马区域比常人要大，这是一个涉及记忆和地图形成的大脑区域，因为他们要掌握城市的布局。也许他们利用的是相似的概率推理算法，这和人类的情况就不一样，饮酒似乎并不能帮上什么忙。

掌握贝叶斯学派的方法

既然我们（多多少少）知道了如何解决推理难题，就可以从数据中掌握贝叶斯网络了，因为对于贝叶斯学派来说，学习只是另一种形式的概率推理。你需要做的只是运用贝叶斯定理，把假设当作可能的原因，把数据当作观察到的效果：

$$
P ( \sqrt { \frac { \frac { 1 + 1 } { 2 } } { 1 + 1 } } \frac { \gamma \varepsilon } { 1 + 1 } \frac { \frac { 3 \varepsilon } { 2 } ( \gamma \frac { \varepsilon } { 1 + 1 } ) } { 3 \sqrt { 3 } ( \frac { \varepsilon } { 1 + 1 } ) } = P ( \sqrt { \frac { \frac { 1 + 1 } { 2 } } { 3 } } \frac { \gamma \varepsilon } { 1 + 1 } ) \times P ( \frac { 3 \varepsilon } { 3 } \frac { \gamma \varepsilon } { 1 + 1 } \frac { 1 } { 3 } \frac { \gamma \varepsilon } { 1 + 1 } ) \cdot P ( \frac { 3 \varepsilon } { 3 } \frac { \gamma \varepsilon } { 1 + 1 } )
$$

假设可以和整个贝叶斯网络一样复杂，或者和硬币正面朝上的概率一样简单。在后一个例子中，数据仅仅是一系列抛硬币行为的结果。例如，如果我们抛100次硬币，有70次正面朝上，频率论者会估算正面朝上的概率为0.7。根据所谓的“极大似然法”（maximumlikelihood principle），这是有道理的：在所有正面朝上的可能概率中，0.7是在抛100次，有70次正面朝上的情况下最有可能的概率。假设成立的可能性是P（数据∣假设），而该法则称，我们应该选择那个能将该概率最大化的假设。即便如此，贝叶斯学派做事更加仔细。他们指出，我们从来无法肯定哪个假设是真的，所以我们不只是挑一个假设，比如硬币正面朝上的概率是0.7；相反，应该计算每个可能假设的后验概率，然后在做预测时容纳所有假设。所有假设的概率之和必须等于1，那么如果某个假设的概率增大，另一个则变小。实际上，对于贝叶斯学派来说，没有所谓的真相。你有一个优先于假设的分布，在见到数据后，它变成了后验分布，这是贝叶斯定理给出的说法，也就是贝叶斯定理的全部。

这与传统科学运作的方式相背离。这就像在说：“实际上，哥白尼和托勒密都不对；让我们只预测星球未来的轨迹，假定地球绕着太阳转，反过来也成立，然后对结果取平均值。

当然，这是一个加权平均值，假设作为其后验概率的权值，那么能更好地解释数据的假设会更有价值。另外，就像玩笑说的那样，加入贝叶斯学派意味着绝不用说你对某事很肯定。

不用说，携带不止一个而是大量的假设是一种巨大的痛苦。在掌握贝叶斯网络的例子中，我们做预测的方法应该是对所有可能的贝叶斯网络取平均值，包括所有可能的图形结构，以及每个结构的所有可能的参数值。在某些情况下，我们可以以封闭形式对参数取平均值，但因为各种结构，进行得不顺利。举个例子，我们可以将马尔可夫链蒙特卡洛理论运用到网络的空间中，随着马尔可夫链的发展，从这个可能的网络跳到另外一个网络。将该复杂性与计算成本和贝叶斯有争议的概念（真的没有所谓的客观事实）结合起来，就不难知道为什么20世纪频率论一直主导科学界。

然而贝叶斯法还是有可取之处的，其中有一些主要原因。可取之处在于，很多时候，几乎所有的假设都会以微小的后验概率作为结尾，而我们可以安然地忽略它们。实际上，只考虑单个最可能的假设通常是一种非常好的近似方法。假设我们对于抛硬币问题的先验分布是：正面朝上的所有概率均相等。看到连续抛硬币的结果，这个效果是将分布越来越多地集中到与数据最为一致的假设上。例如，如果h包含正面朝上的可能概率，且一枚硬币正面朝上的概率为0.7，我们会看到图6–6。

每次抛完硬币的后验概率变成抛下一次硬币的先验概率，抛了一次又一次，我们越来越肯定h=0.7。如果我们只认准这一单个最可能假设（在这个例子中，h=0.7），这样贝叶斯法和频率论法就变得很相似，但有一个关键的不同点：贝叶斯学派考虑先验的P（假设），而不仅仅是可能性P（数据∣假设）［数据先验P（数据）可以忽略，因为它对于所有假设来说都一样，所以不会影响获胜者的选择］。如果我们愿意假定所有的假设都和先验概率均等，那么贝叶斯法现在就简化为极大似然法。因此贝叶斯学派可以对频率论者说：“看，你做的仅是我们所做部分工作的特例，但至少我们能够使自己的假设清楚明白。”而如果假设与先验概率不均等，那么极大似然法的隐含假设（假设和先验概率均等）会给出错误的答案。

这就像一场理论性的讨论，却得出惊人的实践性结果。如果我们只看了一次抛硬币，而结果是正面朝上，极大似然理论会说正面朝上的概率是1。这可能非常不准确，而当硬币反面朝上时，会让我们措手不及。一旦我们看过很多抛硬币行为，估算起来就更可靠，但在许多问题中，我们无法看到足够多次数的“抛硬币”，无论数据有多大。假定单词“supercalifragilisticexpialidocio us”在我们的训练数据中从未在垃圾邮件中出现过，而是出现在一封讨论《欢乐满人间》的邮件中。接下来，包含极大似然概率估算功能的朴素贝叶斯垃圾邮件过滤器会决定包含该词的邮件不是垃圾邮件，尽管邮件中的其他词喊着：“垃圾邮件！垃圾邮件！”相反，贝叶斯学派会赋予这个词较低但非0的概率，让其出现在垃圾邮件中，同时允许其他词语将其覆盖。

如果我们努力掌握贝叶斯网络的结构和它的参数，问题只会变得更糟糕。我们可以通过爬山法来做到这一点，由空的网络（没有箭头）开始，添加最能提高可能性的箭头，以此类推，直到箭头不再起改善作用。遗憾的是，这很快就会引起大范围过拟合，网络会将零概率分配给未在数据中出现的所有状态。贝叶斯学派可以做更有意思的事情。他们可以利用先验分布来编码专家对该问题的观点——他们对休谟问题的回答。例如，我们可以为医学诊断设计一个原始贝叶斯网络，方法就是采访医生，询问他们哪些症状可能会对应哪些疾病，并添加相应的箭头。这就是“先验网络”，而先验分布可以通过添加或移除箭头的数量来惩罚替代网络。医生也不是完全可靠的，所以我们让数据来覆盖它们：如果通过添加数据来提高可能性比惩罚重要，我们会做这件事。

当然，频率论者正意识到这个问题，而且他们的回答，举个例子，是通过某因素来增加可能性，该因素会惩罚更多的复杂网络。但这时候频率论和贝叶斯学派就无法区别了，而你把计分函数称作“惩罚似然”还是“后验概率”就是喜好的问题了。

尽管频率论者和贝叶斯学派在一些问题上存在分歧，对于概率的含义也存在哲学上的差异。认为概率包含主观性让许多科学家感到略有不安，但如果没有这一点，很多用途就被禁止了。如果你是频率论者，那么只能对那些发生次数超过一次的事件的概率进行估算。所以像“希拉里·克林顿在下一轮总统竞选中打败杰布·布什的概率是多少”这样的问题则无法回答，因为没有哪场竞选的目的是让他们互相竞争。但对于贝叶斯学者来说，概率是包含主观程度的信任，所以他可以自由地做有根据的猜测，而且推理演算会使他所有的猜想都一致。

贝叶斯法不仅仅适用于学习贝叶斯网络，还适用于其特殊情况（相反，尽管它们的名字如此，贝叶斯网络并非一定就是贝叶斯学派的：频率论者也可以掌握它们，正如我们刚看到的那样）。我们可以将先验分布置于任意级别的假设中（规则组、神经网络、程序）然后在给定数据的条件下，利用假设的可能性来对其进行更新。贝叶斯学派的观点就是，选择什么表示方法由你决定，但得利用贝叶斯定理来掌握它。20世纪90年代，他们声势浩大地接管了神经信息处理系统国际会议（NIPS），即联结学派研究的主会场。其中的罪魁祸首（可以这么说）包括大卫·麦凯、雷德福·尼尔、迈克尔·乔丹。麦凯是英国人，是加州理工学院约翰·霍普菲尔德的学生，后来成为英国能源部的首席科学顾问，他表明了如何通过贝叶斯法来学习多层感知器。尼尔向联结学派介绍MCMC，而乔丹则向他们介绍变分推理。最终，他们指出在限制范围内，你可以在多层感知器中“集中”神经元，剩下一种未提到它们的贝叶斯模型。不久以后，在向NIPS提交的论文中，“神经的”一词很好地表达了“拒绝”的意思。有些研究人员开玩笑称，该会议应该改名为BIPS，即“贝叶斯信息处理系统”（BayesianInformation Processing Systems）。

马尔可夫权衡证据

但在通往统治世界的路上发生了有趣的事情。利用贝叶斯模型的研究人员注意到，如果你用非法的方式来调整概率，得出的结果会更好。例如，在语音识别器中，通过调整P（词语）可以提高准确率，但它就不再是贝叶斯定理了。发生了什么？结果是，问题的原因在于生成模型做出的错误独立性假设。简化的图形结构使模型变得可掌握，而且值得保留，不过因为手头任务，我们最好只掌握自己能力范围内的最佳参数，无论它们是否为概率。朴素贝叶斯法的一个真正优势在于，可以提供少量而有信息量的特征，通过这些特征可以预测级别。另外，它还可以提供快速、稳健的方法来掌握相应的参数。在垃圾邮件过滤器中，每个特征都是某个特定的词语出现在垃圾邮件中，而相应的参数是它发生的频率是多少，对于非垃圾邮件也是同样的道理。以这种方式来看，考虑到把最佳预测变成可能，甚至在很多情况下其独立性假设受到严重违背，朴素贝叶斯可能是最优的。当我意识到这一点，并于1996年发表一篇关于它的论文时，人们对于朴素贝叶斯的怀疑消解了，并帮助它取得成功。但它也向不同的模型迈出了一步，该模型在过去20年中已渐渐取代贝叶斯网络，它就是马尔可夫网络。

马尔可夫网络是一组特征以及对应的权值，特点和权值共同定义概率分布。特征可以和“这是一首民歌”一样简单，也可以与“这是一首由嘻哈艺术家创作的民歌，有萨克斯的重复乐段和递降的和弦部分”一样复杂。潘多拉利用一大组特征，它将其称为“音乐基因组计划”，目的是为你挑选要播放的歌曲。假定我们将它们与马尔可夫网络接通，那会怎么样？如果你喜欢民歌，相应特征的权值会上升，而当你打开潘多拉时，更有可能听到民歌。如果你也喜欢听嘻哈艺术家创作的歌曲，该特征的权值也会上升。这时你最有可能听到的歌曲同时包含这两种特征，即民歌和嘻哈艺术家的创作特点。如果你不喜欢民歌或者不喜欢嘻哈艺术家本身，而只喜欢两者的结合，那么你想要的是具备更加复杂特征的“嘻哈艺术家创作的民歌”。潘多拉的特征由手工创造，但在马尔可夫网络中我们也可以利用爬山法来掌握特征，这与规则归纳相似。不管怎样，梯度下降是掌握权值的一种好方法。

像贝叶斯网络一样，马尔可夫网络可以通过图表来表示，但它们用无向弧而不用箭头。两个变量被联结起来，这意味着它们会直接相互依赖，如果它们一起出现在某个体征中，例如，“由嘻哈艺术家创作的民歌”中的“民歌”和“由嘻哈艺术家创作”。