人工智能时代：破解人机共存密码（套装共10册）

每当统计学课程开课的第一天，我都会做超感官知觉（extrasensory perception, ESP）实验。先给学生们展示一枚普通硬币（有时向学生借），然后将其抛投10次。每抛一次，我就刻意把结果印入脑中。与此同时，学生尝试猜测我的想法，然后写下答案。我还会在一张事先设计好的纸上，以圈出H（正面）或T（背面）的方式，记录每次抛投的实际结果，这样一来，学生就无法通过我的手势猜出结果。

谁猜对了10次，谁就能赢得当地一家精品巧克力店的一盒一磅装巧克力。如果你在家也想试试，那就猜猜我在2017年春季的统计课上那10次抛投硬币的结果。我的脑电波或许还留存在某个地方。然后写下你的答案，看看能猜中几次。

抛完10次后，我让学生们举起手来，然后开始公布结果。猜错的学生把手放下，坚持到最后的即可赢得巧克力。曾经出现过一名获胜者，在参与这个游戏的学生人数超过了1 000名后，有人获胜也在预料之中。

我并不相信超感官知觉，所以这个实验的重点并非赢得巧克力。把巧克力设置为奖品，只是为了让学生认真对待这一测试。我的真实意图是想说明大多数人，即便是聪明的大学生，对抛硬币等随机事件也存在误解。这一误解加深了我们的错误想法，即以为电脑发现的数据模式一定都有意义。

早在20世纪30年代，美国的真力时无线电公司（Zenith RadioCorporation）有一档系列节目，每周播出一次超感官知觉实验。无线电广播里的“发送者”随机选择一个圆圈或方框，类似抛硬币，然后想着所选的图形，希望脑海中的图像能传送给数百英里之外的听众。随机进行五轮选择后，听众可以将猜测答案寄给电台。

这些实验虽然不能支持超感官知觉的说法，但确实可以有力证明，人会低估随机数据模式出现的频率。我们大多数人认为，圆圈和方框出现的次数通常应该相等，而且不会以任何可识别的模式呈现。例如，在一次实验中，121名听众都选择了以下序列：

□ □ ○ □ ○

只有35名听众选择以下序列：

□ ○ □ ○ □

上述两种序列中，都含有3个方框，2个圆圈，但是第一种序列似乎比第二种完美交错的序列更加随机。这么说你同意吗？

只有一名听众选择如下第三种序列，因为大多数人认为随机结果不会这么一致。

事实上，这三种序列出现的概率完全相等。不过，听众还是不愿意猜有5个方框连续出现，或者两种形状完美交替出现的序列，因为他们觉得这样的情况不会随机发生。你可能也有同样的想法。对了，我在2017年春季课程上的抛硬币结果为：T、T、T、T、T、H、H、T、H、T。你全猜对了吗？

核对完结果，看看是否有人获胜之后，我会让学生数一数自己的答案中连续出现次数最多的是哪个结果。比如以下序列中，连续出现最多的是4次正面：

H T T T

而以下序列中，连续出现最多的是3次背面：

这些序列不像随机结果，但我保证它们就是随机出现的。我抛了20次硬币，得出了以上结果。

过去10年共有263名学生上过这门统计学课，其中报告连续出现4次或4次以上同一面的人只占13%。你的结果是这样吗？

实际上，正面或反面连续出现4次或4次以上的情形，并非完全不可能！在10次抛投中，同一结果连续出现4次或4次以上的概率为47%。我们预计，在这264名学生中，会有124名报告这样的结果，但实际上只有34名。学生都大大低估了同一面连续出现4次、5次，甚至6次的概率。

显然，大家看到正面或反面一直出现都会感到别扭，因为这样的结果不像是随机产生的。连续出现两三次正面后，他们猜反面的念头越来越强烈，以便达到平衡。

不仅统计学课堂上的抛硬币实验如此，在体育比赛、靠运气取胜的游戏和生活中，大多数人也仍未正确认识到随机数据中出现连续情况的概率有多高。因此，一旦出现连续情况，他们的第一反应就是这些数据并非随机得来，其出现肯定有潜在原因，于是就生编硬造出一个所以然。

篮球运动员如果连续投中5次，肯定会“热乎”起来，非常有可能再投中下一球；连续5次选股大赚的金融咨询师必定是金融高手；连续5年势头良好的共同基金一定由金融天才管理。尽管共同基金的表现中唯一具有一致性的是以往业绩无法准确预测将来业绩，但是投资者还是会放弃业绩连年不佳的基金，转投业绩连年良好的基金。

美国国家体育比赛解说员和体育专栏作家名人堂成员梅尔文·德斯拉格，在其最后一篇报刊专栏文章中提及自己在51年的职业生涯中收获的忠告，其中包括一个著名赌徒的建议：“大名鼎鼎的‘希腊人尼克’（Nick the Greek）透露了取胜的秘诀，他训练自己可以持续玩牌八小时而不用上洗手间。按照他的说法，上了牌桌就不应该打断骰气。”唯有低估随机数据连续出现概率的人才会拼命控制膀胱，唯恐“打断骰气”。

我在上文中提出，“在10次抛投中，同一结果连续出现4次或4次以上的概率为47%”。对此，一名活跃的学生表示难以置信，并且编写了计算机程序来证明我是错的。他编写的程序模拟了100万次抛硬币，并记录每10次中正反面连续出现最多的次数。他的计算机程序也得到了同样的结果。他承认自己的程序证实了我的观点，但他还是不信。他认为，可能是计算机的随机数字生成器出了问题，但他又没那么多时间自己抛100万次来验证。看来，随机数字不会连续出现的想法已经在他的思维中根深蒂固了。

如果抛硬币超过10次，上述概率会更高，连续出现次数会更多。抛1 000次，同一面连续出现大于或等于10次的概率是62%；抛1万次，同一面连续出现大于或等于17次的概率是53%，大于或等于18次的概率是32%。

数据越多，就越能肯定还会产生更多连续出现的结果，以及其他出乎意料的模式。克里斯蒂安·S.卡鲁德和朱塞佩·隆哥合作发表了一篇理论性文章，题为“大数据中假性相关的泛滥”（The Deluge ofSpurious Correlations in Big Data），表明在所有庞大数据中集中出现高度规则的模式都不足为奇。不仅如此，而且：

数据越多，就越会在其中发现随意、无意义和（对未来行动）无作用的相关系数。因此，自相矛盾的是，我们得到的信息越多，就越难从中提取有意义的发现。信息量过犹不及。

如果存在一组有助于做出预测的真实统计学关系的固定数据集，数据滥用肯定会提高无用统计学关系在真实关系中的比率。

假设股价、失业率和利率之间存在因果关系。如果失业率上升，则股价下跌。如果利率上升，则股价也呈下滑趋势。通过看股价、失业率和利率的数据，我们可能会找到证实这些因果关系的统计学证据。

再假设，我们把几座偏僻城市的日常气温也考虑在内，尽管它们跟股价毫不相关。根据卡鲁德和隆哥的论证，纳入的无关变量越多，就越能肯定得到的是无意义模式。

与包含两个有意义变量（失业率和利率）和100个无意义变量（100个小镇的气温）相比，包含两个有意义变量和5个无意义变量的结果可能与股价的相关性更高。与包含两个有意义变量和1 000个无意义变量相比，包含两个有意义变量和50个无意义变量的结果可能与股价的相关性更高。

因此，卡鲁德和隆哥总结道：“数据越多，发现无意义模式的概率就越高。”

数据挖掘

人工智能是不断变化的专有名词，包括计算机模拟人类行为的各种活动，例如，组装汽车、识别物体、将语音转换成文本。人工智能

还可以驾车、下棋和交易股票。

控 制 人 工 智 能 活 动 的 计 算 机 程 序 被 称 作 “ 算 法 ”（algorithms），即完成任务所需的分步规则。例如，寻找某数平方根的算法步骤如表5.1所示。

算法在进行了5个循环后，得出答案为X=7.071068。

表5.1 平方根算法

计算机程序使用多种语言执行算法。平方根算法可以用BASIC、Java、C++等计算机编程语言。当然，人工智能算法的能力远不止这个简单的例子。

数据挖掘可能是最艰巨、最危险的人工智能形式。传统的数据统计学分析遵从已经广为人知的科学方法，用科学知识取代迷信。研究人员基于观察或推测提出问题，比如，“维生素C是否会降低普通感冒的发病率和严重程度”，研究人员搜集数据后，最好能够通过控制实验来验证这个推测。如果服用安慰剂和维生素C的结果出现令人信服的统计学差异，则这项研究得出结论，维生素C具有统计学上的显著影响。该研究人员运用数据验证了推测。

数据挖掘则另辟蹊径，其数据分析不会受到预先形成的推测的驱使或妨碍。数据挖掘算法的编程目的是发现数据的走势、相关系数等模型。一旦发现有意思的模型，研究人员就创造理论来解释它。或者，研究人员认为，数据可以自圆其说，一切解释都包含在数据中。他们不需要理论学说，只要有数据就足够了。

在维生素C的例子中，假设数据挖掘工具针对1 000个人创建数据库，记录他们的所有信息，如性别、年龄、种族、收入、发色、瞳孔颜色、就医记录、运动和饮食习惯等。接着，使用数据挖掘软件识别出与个人患病天数在统计学上最相关的五项个人特征。结果可能显示为：酸奶食用过量、茶类饮用不足、喜欢散步、绿瞳孔，以及在脸书上最常使用的词为excellent（好极了）。

数据挖掘工具可能得出结论——酸奶、茶、散步、绿瞳孔和脸书常用词为excellent代表着不健康——于是编造出稀奇的故事来解释这些相关系数。数据挖掘工具还可能认为，数据已经解释得面面俱到，无须进一步解释了。

《经济学人》在2015年发表的题为“与悲观相去甚远：经济学发展”（A Long Way From Dismal: Economics Evolves）的文章指出，（研究失业、通胀等的）宏观经济学家应该效仿在科技企业从事产品、公司和市场相关数据挖掘工作的微观经济学家。

（宏观经济学家）应该减少理论空谈。宏观经济学家都是严谨之人，先创建理论模型，后使用数据检验。新一代经济学家则忽略白板功能，只集中处理数据，让计算机识别出模式。

《经济学人》是一本优秀的杂志，但不是优秀的新闻报道。

2008年，美国《连线》杂志总编辑克里斯·安德森撰写了一篇引起争议的文章，题为“理论的终结：数据泛滥使科学方法过时”（TheEnd of Theory: The Data Deluge Makes the Scientific MethodObsolete）。安德森表示：

只要有足够多的数据，数据就能自圆其说……更庞大的数据以及处理数据的统计学工具，都为理解世界提供了全新的方式。相关系数可以取代因果关系，科学的发展根本无须相关模型、统一理论或任何真正的机械论的解释。

当时看来，这似乎是一种刻意煽动争议、几乎毫不掩饰的自吹自擂——“未来是大数据和大电脑的世界，请阅读《连线》”。

值得赞扬的是，数年后，《连线》杂志的英国版发表了一篇具有警戒意义的文章，题为“如何篡改统计值”（How to massagestatistics），其中谈到了我的担忧——“计算机让摆弄数据更加轻而易举”，还列举了篡改、挑拣和破坏数据以造成误导的各种方法。

不幸的是，对曾经颇有争议的事情，人们现在已经习以为常。认为处理数据便足矣的人比比皆是——认为人类无须理解世界，也无须理论，能在数据中找到模式就足够了。在这个方面，计算机可谓得心应手。因此，我们应该将决定权交给计算机。

有时，“数据挖掘”这个词的使用范围更广，还包括搜索引擎和机器人汽车工等大有裨益、无可厚非的活动。我经常使用“数据挖掘”来描述这种做法——运用数据发现统计学关系，然后以此预测行为，例如，寻找统计学模型以预测汽车采购、贷款拖欠、患病或股价变动的情况。

知识发现

我和一名教“知识发现”这门课程的教授吃过午餐。我问他，假如缺乏理论（或常识），我们怎么知道由数据产生的模型真的有助于预测，而不是偶然？他认为：

证据就在数据之中。我们不仅不需要理论，理论化还会限制我们所见，妨碍我们发现意料之外的模型和关系。模型是否有用，只需要看数据就知道了。这就是为什么我把这门数据挖掘课程称作“知识发现”。

数据挖掘还被称为“数据探索”“数据驱动的发现”“知识提取”“信息获取”等，这些称呼都反映了一个核心思想——数据先于理论，甚至通常无须理论。

很多被称作人工智能的事物都令人惊叹。可是，数据挖掘并非如此。其根本原因很简单，却不易被认识到：

我们以为模型不同寻常，因此具有意义。

在大数据中，模型无法避免，因此毫无意义。

黑匣子