人工智能时代：破解人机共存密码（套装共10册）

由于缺乏以上数据，我只能运用手头的数据——学生姓名。例如，Gary（加里）这个名字顺序包括四个字母G-A-R-Y。我使用数据挖掘软件来探索统计学课程成绩和姓名中字母位置是如何产生联系的。成绩分为几个等级：A为4.0分，B为3.0分，以此类推。班上学生的平均分数为3.03分，比B稍高一点。

对名字而言，数据挖掘算法发现，当名字中的第七个字母为D时，学生的分数提高了0.94分；第二个字母为D时，提高了0.81分；第五个字母为D时，提高了0.79分。相反，当第四个字母为D时，分数下降了0.96分。最糟糕的是，当第八个字母为G时，分数下降了1.85分。

再来看看姓氏，当第四个字母为V、第六个字母为B、第五个字母为C时，分数均提高大约1分，但当第二个字母为M时，分数减少2分。

这简直就是胡扯，尽管数据挖掘程序对此并不知情，因为它不知道分数和名字是什么意思。如果我用身高、体重等信息来做同样的实验，指不定会为最终的“知识发现”编出什么解释。我故意选择毫无意义的特征是为了说明，在事情发生之后，怎样都能找到与企业成功或学生的好成绩相关的模型。找到这些特征是意料之中的事情，但并不意味着它们就是迈向成功的关键。

攻击性和吸引力

12名年过40岁的已婚女性观看20名20岁出头的已婚男性玩街头篮球的视频。受试女性给视频里每一名男性的攻击性和外形吸引力评分，然后以平均分进行排名，1为最高，20为最低。

如图6.2的排名散点图所示，攻击性排名越高的男性，吸引力排名越低，其相关系数竟然为-0.93。尽管人们普遍认为，女生会被“坏男生”吸引，但这项研究说明，年至40岁的女性并不会被攻击性强的男性吸引，可能是因为她们已经懂得危险和鲁莽的行为会导致严重后果。她们更倾心于稳重和自制力强的男性。

我现在就能想象到网上的那些故事情节。男同胞们，注意行为举止，收好那些睾酮丸。

你被说服了吗？这些结果、统计学分析和图表都由计算机得出，所以肯定都是正确无误的。不过，数学计算正确并不一定代表结论是有说服力的。

如果我告诉你，图6.2所示的攻击性和吸引力的关系，是通过搜遍包括这20名男性的1 000个特征的庞大数据集而得出的，那会怎么样？大多数特点非常不相关，但还是存在一些令人惊叹的统计学关系——最让人惊叹的是攻击性和吸引力之间的负相关系数。

确实，进行这项研究的教授并不意在寻找这一特别的关系，但很明显它是存在的。确实，如果结果显示为正相关，该教授会得到不同的结论，即女人会被具有攻击性的男人吸引。但最重要的一点是，这名教授找到了一种强有力的实证关系，这是不容置疑的。

现在，愤世嫉俗的人可能会表示，那名教授是在1 000个变量中找相关系数。即使数据只是无意义的噪声，仅凭运气，他也会找到一些统计学意义上的强相关系数。

那名教授可能会火冒三丈，解释说这些都不是随机数据，它们反映的都是真实特征，揭示的是攻击性和吸引力之间的真实关系，没有人能质疑这种关系的说服力。那名教授一定发现了重要的真相，因为其统计学关系如此显而易见。这就是数据挖掘和知识发现之间的真相。

好了，该说实话了：没有什么视频，也没有排名。我就是那名教授，是我用计算机随机数字生成器从1\~20中随机挑选了1 000次，然后运用数据挖掘软件搜遍这些数据，寻找“意料之外”的关系。图6.2显示的是随机排在第462位和第594位的数据，在我发现它们后，我将其标记为攻击性和吸引力。这也正切中要点，搜遍大量数据库来寻找统计学关联，就会找到让人印象深刻的关联，即使数据只是随机数字而已。发现这类关联证明不了什么，除了这些数据都被搜了个底朝天的事实。

数据挖掘也许不是知识发现，而是噪声发现。

达特茅斯三文鱼研究

标准的神经科学实验是这样的：一名志愿者位于磁共振成像（MRI）机里，观看不同图像并回答有关图像的问题。fMRI可测量含氧与脱氧血流经过大脑时的磁信号阻断情况。测试结束后，研究人员要观看13万张体素图像［即3D（三维）数据］，查出大脑哪些部位受到了图像和问题的刺激。

fMRI测试方法有噪声源，包括来自周围环境中的磁信号和大脑不同部位脂肪组织密度的变化。体素有时会漏记大脑活动，有时又显示出没出现过的大脑活动。

达特茅斯大学研究生克雷格·贝内特进行了一项不寻常的实验，他向三文鱼展示图片并提出问题，然后通过MRI机研究三文鱼的脑部活动。接下来，精巧复杂的统计学分析发现了明显的模型。

这项实验最有趣的地方并非研究的对象三文鱼，而是这是一条死鱼。没错，贝内特在当地市场买了一条死的三文鱼，放到了MRI机里，向它播放图片并提出问题。在大量体素图像中，一些随机出现的噪声也被记录在内，被当成了三文鱼对图片和问题做出的反应。除了没有记录这条三文鱼已经死了。

这项对死三文鱼的研究比大多数fMRI研究引起了更多人的关注，甚至还获得了“搞笑诺贝尔奖”。

这项研究还是有些人对“大数据”进行数据挖掘来寻找模型的绝佳类比，只不过那些“大数据”包含的数据要多得多，会找出荒唐至极的关联性。

骗子_，骗子

满怀希望的人们搜遍数据寻找称霸股市和喜中彩票的方法，随之而来的是可笑牵强的说法，如“超级碗指标”或让名为Mary（玛丽）的朋友帮自己买彩票。千万别被这些鬼话忽悠。

假如足够努力，即便在随机生成的数据中，我们也总能找到模型。无论找到的模型有多令人震惊，我们还是需要合理的理论来解释它，否则，我们得到的就不过是巧合事件罢了。更多例子请参阅我的另一本书《简单统计学：如何轻松识破一本正经的胡说八道》，例如：亚洲裔美国人容易在每月4号发作心脏病、通过庆祝重要事件能推迟自己的死亡等说法。

作为人类，我们能够识别不合情理的说法，谨记那个死三文鱼研究的教训，但是计算机做不到。

没错，人类研究员过度进行数据挖掘，已经造成了一场复制危机。严谨的研究人员如今正在努力寻求有效方式来减少数据挖掘的使用。有人提议，期刊不应坚持采用具有统计学意义的结果，因为这引诱研究人员跳入了数据挖掘的陷阱。

挖掘大数据的人工智能算法是往错误方向迈进的一大步，这错误的一步会让复制危机加剧，变成复制灾难。计算机永远不会真正理解的根本事实是，合理的模型比仅仅同数据吻合的模型更有用。人工智能算法只懂得怎么拷问数据。

第7章无所不包的“厨房水槽法”

20世纪80年代，我曾与一名经济学教授交谈，他根据图7.1所示的简单相关系数给一家大银行进行预测。如果想要预测消费性支出，他便制作收入和支出的散点图，然后用透明尺子画出一条似乎与数据一致的线。根据他的预测，若收入增加，支出也会增加。

这名教授的散点图的问题在于，世界并非如此简单。收入会影响支出，财富状况也会。如果教授恰巧利用收入增加（支出增加）、股市暴跌（支出减少）时期的数据来画散点图，而财富的影响力又大于收入的影响力从而导致支出减少（如图7.2所示）那又会怎么样呢？据此，教授的收入和支出散点图将预测：收入增加，则支出减少。之后，当他试图预测在某一收入和财富都增加的时期支出的变化趋势时，他会预测到支出呈下降趋势，这简直错得离谱。

此时需要运用多元回归分析。

多元回归模型含有多个解释变量。例如，消费性支出模型可表示为：

$$
\begin{array} { r l } { { C ^ { \underline { { \mathbf { \Pi } } } } } } & { { } a ^ { + } b Y ^ { + } c W } \end{array}
$$

C代表消费性支出，Y代表家庭收入，W代表财富状况。

以上解释变量的罗列顺序并不重要。重要的是将哪些变量纳入该模型，哪些排除在外。回归分析的技巧重点在于选择重要的解释变量，忽略不重要的解释变量。

系数b计算财富状况保持不变时收入增加对支出的影响，而系数c计算收入保持不变时财富增加对支出的影响。推算这些系数的数学过程非常复杂，但是原理很简单：为用来推算模型的数据选择能最佳地预测消费性支出的推算。

我们已经在第4章了解到，在比较支出、收入和财富这些都会随时间推移而增加的变量时会出现“假性相关系数”。为确保不被假性相关系数误导，我要看的是去除通胀因素后的支出、收入和财富的年度百分比变化。

我使用统计学软件来计算美国年度数据的回归线：

$$
C = ~ 0 . 6 2 ~ + ~ 0 . 7 3 Y + ~ 0 . 0 9 { \it W }
$$

财富保持不变，收入每增加1%，支出预计会增加0.73%。收入保持不变，财富每增加1%，支出预计会增加0.09%。图7.3为实际支出的百分比与预测支出的百分比的变化对比图，相关系数竟惊人地达到0.82。

财富的系数看似很小，但是财富的变化通常很大。有好几年，财富增加或下降的幅度超过10%，根据我们的模型预测，消费性支出会下降0.9%，这就形成了经济扩张和衰退之别。

多元回归模型的效力极大，远比简单的相关系数大得多，因为它将多个解释变量考虑在内。这就是为什么多元回归模型是较重要的统计学工具之一。

然而，多元回归模型用于数据挖掘时也非常容易出现滥用的情况。

预测总统大选

在统计学课上，我要求学生列出自认为可以决定总统大选结果的因素。他们提到了经济、候选人个性、国家是否处于战时状态等。我将他们的想法写在白板上，然后展示我的模型。

100多年来，美国总统大选通常都是民主党和共和党两党的总统候选人之争。执政党的总统候选人要么是总统本人，要么是总统所在党派的提名候选人。2012年，竞选第二任期的贝拉克·奥巴马就是执政党的总统候选人。2016年，取代已连任两届的奥巴马而参加竞选的希拉里·克林顿，就是总统所在党派的提名候选人。