人工智能时代：破解人机共存密码（套装共10册）

我们还能以更少的解释变量达到很高的吻合度。包括4座城市（伯灵顿市、科迪市、艾尔肯斯市和波卡特洛市）的天气数据的模型与1989—2016年大选结果的相关系数为0.86，而包括3座城市（科迪市、艾尔肯斯市和波卡特洛市）的数据时相关系数为0.79。

如果将该模型与1940—1976年的数据匹配，情况也是一样。包括4座城市（布罗肯鲍市、多佛市、艾尔肯斯市和法戈市）的天气数据的模型与1940—1976年大选结果的相关系数为0.89；而包括3座城市（布罗肯鲍市、艾尔肯斯市和法戈市）的天气数据时相关系数为0.86。

我选出这些城市的依据是什么呢？我有25座城市每日最高和最低气温的数据，使用数据挖掘软件将这50个变量的所有可能组合统统考虑在内，然后识别出与总统大选结果吻合度最高的组合。

结果显示，1980—2016年吻合度最高的城市与1940—1976年吻合度最高的城市截然不同，因为该模型没有理论基础。这些我用来寻找假性相关系数的数据本质上是随机的。任何差强人意的数据挖掘程序都能得到同样毫无意义的结果，而且还根本不知道这些都是无稽之谈。

如果解释变量减少，随机变量模式也还是能与数据高度吻合，如解释变量减至5个，相关系数为0.97；减至4个，相关系数为0.95；减至3个，相关系数为0.89。一切都与天气模型非常相似，如果某一年的数据没有拿来推算该模型，那么这个模型对该年度大选结果的预测毫无用处。

由此得出的结论不可忽视。数据挖掘能轻易发现包括多个解释变量的模型，即便解释变量与所要预测的变量毫无关系也能与数据达到惊人的吻合度。不足是，数据挖掘软件不能评估模型是否合理，因为对计算机软件来说，数字只是数字而已。

我们如何分辨所发现的模型是真实还是虚假的呢？只要懂得利用人类对变量的认识，就能判断所发现的模型是否具有逻辑基础。

我一直在强调这一点，是因为我与很多聪明的相关人士都交谈过，他们虽是出于好意，但始终不能完全理解找到偶然性的模型和关联性是多么轻而易举的事情，其中还包括大多数和我交流过的数据挖掘者。很多人都模糊意识到可能存在假性相关系数，但尽管如此，他们还是相信模型和关联性的统计学证据足以证明它们就是真实存在的。

2017年，《华尔街日报》的首席经济评论员格雷格·伊普采访了一家为企业开发人工智能应用程序的公司的合伙创始人。伊普复述了此人的论点：

如果在大学学过统计学，你就会知道如何利用输入来预测输出，例如，基于身体指数、胆固醇和吸烟状况来预测死亡率。可以通过添加或取消输入来提高模型的“吻合度”。

机器学习使用强大的算法和计算机来分析更多的输入。例如，数码图片中的数百万像素，不仅有数字，还有图像和声音。它从变量组合中衍生出更多变量，直至能最准确地回答问题（如“这是一张狗的图片吗”）或者能最圆满地完成任务（如“说服观看者点击本链接”）。

此言差矣！学习统计学的学生在大学里应该学到的是：仅为了提高适合度就添加或取消输入有百害而无一利。机器学习也是如此。搜遍数字、图像和声音寻求最佳匹配，这是盲目的数据挖掘，考虑的输入越多，所选变量的虚假度就可能越高。

数据挖掘的根本问题在于：它非常擅长找到匹配数据的模型，但对判断模型是否荒唐可笑完全束手无策。统计学相关系数无法替代专业人士的意见。

为现实世界建模的最佳方法是，从具有吸引力的理论学说开始（如“经济状况会影响总统大选”），然后验证模型。合理的模型可对其他数据做出有用的预测，而不是预测用来推算模型的数据。数据挖掘则是反其道而行之，它没有基础理论，因此无法区分合理与荒谬的模型。这就是为什么这些模型对于全新数据的预测结果并不可靠。

非线性模型

除了通过筛选全部解释变量，数据挖掘算法还能通过大量非线性模型来过度拟合数据。

图7.9所示的简单散点图使用了假设数据。图中的三个观察结果都没有在直线（线性模型）上，但还是可以看出其大致走向，如果X和Y之间确实存在因果关系，则可能有助于预测Y值。

图7.10所示的非线性模型与这三个观察结果完全吻合。可以因此说图7.10的非线性模型是图7.9线性模型的改进版吗？不一定，数据挖掘算法没有合理的方式进行判断。

图7.9的模型显示，X值上升，Y值也上升，增幅保持不变。图7.10的模型显示，X值上升，Y值上升幅度越来越小直至变为负数，X值大于

7时，Y值为负数。

要用与模型不吻合的X值来预测Y值，哪个模型更有效呢？看情况。如果X表示家庭收入，Y表示支出，则如图7.9所示，收入增加时，支出也以大致相同的幅度增加，这种说法很合理。但是如图7.10所示，收入增加到某个点时导致支出减少，直至降为负数，这就说不过去了。

此外，假设X表示施给土豆苗的氮素数量，Y表示生长状况。这种情况下，如图7.9所示，即每多施加一点氮素，生长就会快一些，这不合常理。对比之下图7.10更合理，随着氮素的用量不断增加，其对土豆苗生长的促进作用也会不断减弱。在某一点上，额外的氮素会有碍土豆苗的生长，土豆苗甚至会因为氮素过多而死亡。

数据挖掘算法如何能够决定是图7.9中的线性模型还是图7.10中的非线性模型可以更好地表示建模的事实情况呢？当然不可以只通过看哪个模型与数据更加匹配来决定！我们只能通过专家（即人类）的建议来评估哪个模型更符合现实，才能在这些或其他模型中做出选择。

图7.11展示了更极端的例子。如果存在符合逻辑的解释，这个解释似乎能将直线与所有数据完全匹配，将直线附近的点解释为模型之外其他因素造成的不可避免的波动。除非发生剧烈变动，否则利用线性模型应该可以做出合理精确的预测。

图7.12显示了数据挖掘算法为了完全匹配数据而选择过度复杂的非线性模型后出现的混乱趋势。尽管与原始数据完全吻合，但只要输入新的X值，该非线性模型的预测结果就肯定会差之千里，甚至会令人匪夷所思。

问题自始至终都在于，数据挖掘算法寻找模型（这也是它非常擅长的事情），但是没有办法评估自己找到的模型。spending（花费）、income（收入）和wealth（财富）等词语都只是字母组合而已，正如奈杰尔·理查兹用自己不懂的语言玩拼字游戏那样。计算机算法不能分辨模型中应该包括哪些解释变量，也说不出线性和非线性模型哪个更合理。这些都需要人类智慧来做决定。

第8章

新瓶装旧酒

时尚界的流行风潮周而复始，基本遵照“20年一轮回”的规律。20世纪90年代经常出现在健身房和大街上的运动装，时隔20年之后又卷土重来。

英国经济学家丹尼斯·罗伯逊曾从理性的角度写过：“我的有些学生是在运动圈里长大的，正如我时常对他们说的那样，如今，高雅的见解就像一只被追捕的野兔，如果你坚守一处或其附近，它肯定会再度回到你身边。

同样，今天的数据挖掘者再度发现了几种曾经风靡一时的统计学工具。这些工具重获新生是因为它们的数学原理复杂中带着优美，很多数据挖掘者轻易被这种数学之美诱惑，很少有人思考深层的假定和结论是否合理。

逐步回归法

思考一下多元回归模型的数据挖掘。搜遍庞大的数据库，寻找呈现最佳拟合的解释变量组合，这种做法令人望而却步。从100个变量中选择的话，10个解释变量的可能组合共有17万亿多种；从1 000个变量中选择的话，10个解释变量的可能组合共有10²⁴种；从100万个变量中选择的话，10个解释变量的可能组合的数量非常庞大，写下来的话，在1后面得写54个0。

逐步回归法（stepwise regression）出现时，计算机的速度比现在慢得多，但它已经成为很流行的数据挖掘工具。这是因为比起彻底搜寻所有可能的解释变量组合，这种方法对计算的要求比较低，但还有望得出接近彻底搜寻结果的合理近似值。

“逐步”体现在计算要依次经过很多步骤，逐个考虑潜在的解释变量，其中主要有三个分步操作。

首先，按照向前选择变量原则，选取与预测目标变量具有最高相关系数的解释变量。其次，引入第二个使拟合度最大化的变量。最后，再引入第三个使拟合度最佳的变量，如此循环往复，直至拟合度的增加超过预先设定的最小值。所有可能的解释变量都依照逐步回归并删除的原则，然后逐个剔除变量，而且每次都只剔除对拟合度影响最小的变量。

另一个常见的分步操作是双向的，结合了向前选择和向后删除。就向前选择而言，数据挖掘最开始会选择与预测目标变量相关系数最高的解释变量，然后逐个引入变量。巧妙之处在于，每一步中，该步骤都考虑到剔除原先引入变量的统计学后果。因此，变量可能在第二步被引入，在第五步被剔除，然后又在第九步被引入。

上述所有的分步操作有何共同之处呢？它们都是全自动的规则，只需考虑统计学相关系数，不必关心引入或排除那些变量是否合理。这是快速版的数据挖掘。

有人建议基于系数的“大小”引入或减少回归模型中的变量，无论这是否有意义。这不是我捏造出来的。软件程序怎么能比较身为美国参议员的执政党候选人和内布拉斯加州布罗肯鲍市的气温之间的相关关系呢？此外，变量应包含在模型内是因为从逻辑上来说它们归属于模型，而不是基于其推算系数的大小。

我用不同模型做了几项实验，这些模型含有100个值，其中有5个确实能决定预测结果的真实变量和若干由随机数字生成器生成的虚假变量，不过，这些虚假变量可能碰巧与预测变量相关联。我在应用逐步回归法时发现，如果考虑100个变量，其中5个为真，95个为假，由分步操作挑选出的变量则更有可能为虚假变量。我把考虑变量数目增至200个，再到250个时，引入变量为真实变量的可能性分别降至15%和