人工智能时代：破解人机共存密码（套装共10册）

7%。大多数最终被引入分步模型中的变量都是因为假性相关关系，这种假性相关关系毫无用处，还可能有碍于采用全新数据进行的预测。

逐步回归法意在帮助研究人员处理大数据，但讽刺的是，数据越大，逐步回归的误导性就可能越大。大数据是问题所在，但逐步回归法却不是解决办法。

岭回归法

2013 年 ， 我 在 一 场 演 讲 中 听 到 “ 岭 回 归 法 ” （ ridgeregression），又被称为“现代回归法”（modern regression）。岭回归法于20世纪70年代得以发展，在80年代名誉扫地，但如今又重新出现在数据挖掘者的工具箱里，还有了荒唐可笑的标签——现代回归法。其变体有吉洪诺夫正则化法（Tikhonov regularization）、菲利普 斯 - 图 米 （ Phillips-Twomey ） 、 线 性 正 规 化 （ linearregularization ） 、 受 限 线 性 反 演 （ constrained linearinversion）和其他让人印象深刻的说法。尽管被贴上了这些花哨的新标签，岭回归法也并不是新事物，如今也不会比以往具有更强的说服力，它不过是装在新瓶中的旧酒而已。

看看诺贝尔奖得主米尔顿·弗里德曼创建的消费性支出模型：

$$
C = ~ a ~ + ~ b Y + ~ c P
$$

C代表支出，Y代表现期收入，P代表永久收入。该理论指的是，家庭都不会只追求勉强糊口，仅以当前收入作为支出决定的唯一基础，它们还会考虑自己的平均或“永久”收入。

收入出现短暂性缩减的人们通常都会尽量维持其生活风格。他们必须继续支付房贷或房租，不然就会被扫地出门。他们不想让自己的孩子停止参加课外活动，不到万不得已，也不想降低自己的生活格调。

同理，收入出现短暂性增加的人们也不会急于提高生活档次、买新房或送孩子上私立学校，因为收入一旦回到正常水平，他们就不得不省吃俭用。

弗里德曼根据这一推理认为，家庭支出不仅受到现期收入的影响，还受到人们自己认为的长期平均收入的影响，也就是他所谓的永久收入。

多元回归法较吸引人的特征之一就是推算某一个变量保持不变时，另一个解释变量的影响。在C = a + bY + cP这一支出模型中，系数b预测永久收入保持不变时现期收入增加对支出的影响。系数c预测现期收入保持不变时永久收入增加对支出的影响。

一个潜在的问题是，如果现期收入和永久收入高度相关，我们就无法精确推算它们分别对支出的影响。举个极端的例子，假设现期收入和永久收入每年都增加3 000美元，结果支出增加2 000美元。这是因为现期收入增加了3 000美元，还是因为永久收入增加了3 000美元呢？无从得知。再举一个没那么绝对的例子，现期收入和永久收入高度相关但是并非完全拟合，我们能分别推算其影响力，但是我们的推算结果可能非常不准确。

岭回归法试图通过在解释变量中引入随机噪声来摆脱这一僵局。对于现期收入和永久收入中每一个观察到的值，引入或剔除一个由随机数字生成器生成的数字。

岭回归法虽被描述为复杂的数学方程式，但它完全就等同于在解释变量中引入随机噪声。这一随机噪声让解释变量的相关度变低，制造出推算结果更精确的假象。对于在数据中引入自身造成的误差，有人打趣说是“使用更不精确的数据来获得更精确的推算”。

数据挖掘者怎会相信使用准确度更低的数据能改善推算结果呢？然而他们真的相信。数据挖掘者都过度专注于数学计算，无法停下来思考“模型中的变量不仅是数学标记符号”这一事实。这些真实变量都是用来预测另一个真实变量的。任何思考弗里德曼模型的人肯定都会发现，如果计算的收入不准确，就无法改善支出的预测结果。

还存在第二个大问题。弗里德曼的“消费性支出的永久收入模型”还可以写成储蓄模型，即收入减去支出的差。我们可以说储蓄额增加了300美元，而不说收入增加1 000美元时，支出增加700美元。这些都是同一事情的不同说法。

如果用多元回归法来推算支出和储蓄方程式，会得到同样的结果。但岭回归法就不会如此！其结果取决于推算的是哪个方程式，而且并没有可选择的基础。

岭回归法模糊不清的地方之一就是，很多实践者仔细审查所谓的岭迹（ridge trace），以便决定在数据中引入多少随机噪声。我给一名热衷于使用岭回归法的朋友发送了用于弗里德曼模型四种等价表达式的数据，但不告诉他这些数据都用于等价方程式。结果证实了我的想法——岭回归法的基础不牢。因为他并没有询问所要分析数据的任何信息，它们不过是被操控的数字而已，他也不过像是一台计算机。数字就是数字，谁会知道或在乎这些数字代表什么呢？最后这位朋友推算出模型，然后交还给我四组相互矛盾的岭回归推算结果。

不仅仅是岭回归法，还有数不胜数的统计学步骤为数据挖掘者所用，但实质上都是黑匣子。他们将数字输入黑匣子然后得出结果。他们并不思考这些数据测量什么，或有何使用目的。

数据规约

第7章讨论了多元回归模型中过度拟合数据的问题。存在10个观察结果时（例如10次总统大选），任何9个解释变量都能给出完美的拟合结果，这说明该模型准确无误，但名不副实。

如果解释变量超过9个，就会存在无数方法获得完美拟合状态。一般原则是，当解释变量的数目与观察结果同样多或大于观察结果时，就会存在无数方法获得完美拟合状态。显然，这对大数据来说是个问题，大数据中有数百万个变量等着进行数据挖掘。

遇到处理大量解释变量的情况时，也会出现简单的可行性问题。假设我们有100个解释变量，想要对这些变量进行数据挖掘，找出5个对预测标准普尔500指数拟合度最高的解释变量。我们必须推算超过7500万个回归方程式才能找出最佳拟合。要想找到10个最佳解释变量，就必须推算超过17万亿个多元回归模式。实际上，要想找到超过100个可能的解释变量，我们还要推算更多。

解释变量数不胜数，时间又如此有限，在这种情况下，数据挖掘者会怎么做呢？有两种已经存在了100多年的统计学工具——主成分分析和因子分析——被数据挖掘者重新当作数据规约工具，用以减少解释变量的有效数量。

主成分分析和因子分析类似岭回归法，它们都是基于变量的统计学属性，不关注数字代表的是什么。因为主成分分析和因子分析非常相似，所以我只讨论主成分分析。

假设我们预测某人发生车祸的概率，并考虑以下5个变量：

= 性别，女性为1，男性为0

= 年龄，30岁以下为1，否则为0

= 年龄，60岁以上为1，否则为0

= 罚单数

= 平均每年驾驶英里数

如果这些变量相互关联，那么检查所有变量就有些多余，我们可以使用主成分分析来决定两个加权平均值：

$$
C 1 = 0 . \ 3 0 F + 0 . \ 0 1 \ F + 0 . \ 2 6 \ O + 0 . \ 0 5 \ T + 0 . \ 3 1 D
$$

$$
C 2 { = } 0 . \ 2 6 F { + } 0 . \ 1 9 \ F { + } 0 . \ 2 4 \ O { + } 0 . \ 1 2 T { + } 0 . \ 1 4 D
$$

据此，我们可以推算出一个多元回归方程式，利用这两个主成分作为解释变量，代替原来的5个解释变量，从而预测出发生车祸的概率。

数据挖掘者认识到这种变量规约解决了变量过多的问题。他们无须推算包含1 000个解释变量的模式，只要推算包含5个或10个主成分的模型即可。然而，还是存在一个大问题，对减少解释变量最有效的主成分可能不利于预测某些事情，如某人是否会遭遇车祸。

在我们的例子中，C1和C2的主成分权重都依据这5个原始变量的相关系数，我们从中无法看出性别、两个年龄变量、罚单数和驾驶英里数对遭遇车祸的概率的相关重要性。为了缩减这5个变量，即便赋予性别的权重比罚单数高，罚单数对预测车祸的重要性也可能更高。以减少数据为目的和以使用数据预测为目的是截然不同的。

更糟糕的是，在犹如探险的数据挖掘过程中，有些原始变量可能与车祸发生概率根本毫无关系，但它们还是被视作主成分。要记得，主成分的选择依据是解释变量之间的统计学关系，而根本没有考虑用这些成分来预测什么。

例如，某人的出生月份或喜欢吃的糖果最后有可能被视为用来预测某人是否遭遇车祸的主成分。更普遍的是，如果主成分来自成百上千个变量的数据挖掘，那么这些成分就必定会包括无意义的数据。大数据又一次成为问题所在，而主成分分析也不是解决方法。

还需讨论的是，即便并非不可能，但要解释转化的变量（如C1和C2）通常也很困难。因此，评估经推算的系数是否合理也成了问题。我们预计车祸概率与C1和C2呈正相关还是负相关？经推算的系数是否合理？计算机软件不知道，运用主成分分析的人类也不知道，没有人知道。

还有一个问题是，正如岭回归法遇到的一样，解释变量中不重要的变化会影响模型系数的隐含推算。

假设我们不使用：

F = 性别，女性为1，男性为0

而使用以下等价变量：

M = 性别，男性为1，女性为0

这一转换并不重要，即便是一位收到过两次罚单，平均每年驾驶1万英里的47岁女性，也不会影响多元回归推算或所预测的车祸概率。

可是这个简单的转换仍会改变主成分，预测出不同的车祸概率。就像在岭回归法中一样，这是一个致命缺陷。

神经网络算法

神经网络模型最早创建于20世纪40年代，一度失去关注，现又再次时兴——也是新瓶装旧酒。“神经网络”这一标签说的是算法复制了人脑的神经网络，使网络连接具有电兴奋性的细胞，即神经元。我们并不清楚人脑是如何使用神经元来接收、储存和处理信息的，所以我们还不能按照想象用计算机模仿人脑。

神经网络算法是一种给输入分类的统计学步骤（如数字、单词、像素或声音），从而让这些数据能在被整理后输出。尽管数学让人望而生畏，但神经网络还是与其他数据挖掘算法很相似。神经网络本质上是创建输入变量的权重线性组合（很像主成分分析），并运用这些组合（很像多元回归）推算与所预测数据最佳拟合的非线性统计学模型。

推算神经网络权重的过程被宣传为“训练数据”（trainingdata）中的“机器学习”（machine learning），表明神经网络功能犹如人脑。但是，神经网络运算并不像人类的经验学习过程。神经网络更类似回归模型中推算得出的系数，寻找模型的预测结果与被观察值最接近的那个值，不会考虑建模的含义。

神经网络算法在诸如语言翻译和视觉识别方面大有用处，将来它还会有更大的用武之地，但“神经网络能复制人类思维方式”的想法会使人产生误解。思考一下，标准回归模型中含有数据（如图8.1所示的简单散点图），并且回归算法得到一条拟合数据的直线（如图8.2所示）。我们称此数据为“训练数据”，称拟合直线为“机器学习”，但这具有误导性，甚至是虚夸，因为拟合数据的直线与人类使用大脑训练或学习的路径简直不可相提并论，就连犬类、海豚和其他动物接受训练进行学习的路径都比不上。

这就是使用神经网络。算法中拟合数据的直线都只是拟合了使用预设规则的数据，将其称为训练和学习似是而非。该算法并不知道自己在操纵什么，不理解其结果，也无从知道这些直线到底具有意义还只是碰巧而已。

你可能也猜到了，图8.1和图8.2中的两个变量又是我使用计算机随机数字生成器生成的。每个变量的每个值都由随机游走决定，变量之间相互独立。图中明显的统计学相关系数只是偶然事件，根本毫无意义。当然，机器学习算法也无从知晓这一点。数字不过是数字而已。

早在第3章我们就举过例子，说明先进的神经网络如何将看似随机的圆点和图案错误识别为猎豹和海星，将戴着有色镜框的中东年轻男子错误地识别为美国电视节目主持人卡森·达利。这些例子并不旨在展示神经网络有多么不可救药，而是说明神经网络名不副实，不能像人脑那样运转。

在使用其他数据挖掘算法的过程中，不关心逻辑或理论的神经网络算法在寻找统计学模型时也一定会出现问题，例如，不关心图8.1和图8.2中的两个变量是否应该有关联，认识不到眼镜改变不了人脸。

当用于复杂的任务时，深度神经网络暴露了另一个重大缺点——晦涩难懂。没有人确切知道它如何运作，得出的结果是否值得信赖。深度学习网络还非常脆弱，图像识别软件或许能熟练识别停车标识，但如果将一部分标识模糊处理，甚至改变一个像素，都能让它被彻底蒙蔽。

被数学蒙蔽双眼

数据挖掘者有巨大的统计程序工具箱，逐步回归法、岭回归法、主成分分析、因子分析和神经网络只是其中5种而已。我选择这5种方法的原因是它们具有代表性，并且（相对来说）容易理解。

总体而言，数据挖掘工具的数学原理往往复杂精密，但仍表现稚拙，因为它们时常妄作不合情理的假定。问题在于这些假定都藏在数学背后，工具使用者往往更关注其数学原理，对假定的内容并不感兴趣。

在美国大萧条时期，数百万人失去工作、家园、农场和企业，伟大的英国经济学家约翰·梅纳德·凯恩斯批判了盛行的古典经济模型，该模型假定失业者为自行选择失业：

古典理论学家与非欧几里得世界里的欧几里得几何学者相似，他们在经验中发现，明显平行的直线通常相交，并指责线段没有保持笔直，因为这是避免出现不幸相交的唯一方法。

即便时至今日，有些经济学家还是会对批评他们模型不切实际的人回应说是这个世界出了问题，而非他们的模型。凯恩斯对这种一厢情愿的想法予以驳斥：

马尔萨斯之后的职业经济学家显然对他们的理论结果与事实观察缺乏对应的情况无动于衷……古典理论很有可能代表了我们想要的经济运行方式，但是假定经济确实如此运行，就等于假定我们的困难都不存在。

古典经济学家太痴迷于自己模型的美，而忽视了其真实性。

今天的数据挖掘者使用的诸多统计学工具也是如此。