人工智能时代：破解人机共存密码（套装共10册）

执政党具备很多优势，包括有更便捷的渠道接触媒体、筹集资金。执政党可以吸引渴望稳定和对现状满意的民众。另外，对经济、战争等问题感到不满的选民可能会投票支持挑战者，即替换候选人。据估计，总统候选人与挑战候选人的优势比为4∶6，尽管最终结果显然取决于具体候选人和历史环境。

如果我告诉学生，我只根据执政党的提名候选人是否为总统就能预测执政党在两党投票中的得票率，他们肯定认为我是在开玩笑。他们完全有理由这么认为。我们都知道在任总统什么时候表现好（罗纳德·里根得票率为59%），什么时候表现不好（吉米·卡特得票率为44%）。

但是，如果我还将候选人是否曾任州长和参议员等因素都考虑在内会怎么样？我向学生展示了以下多元回归模型，该模型是我利用过去10次总统大选（1980—2016年）的结果推算而来的：

i% = 78.31-7.35iP-13.07iV+7.93cV-27.20iS+14.75cS-

34.46iG+8.20cG- 19.54iR+3.49cR

这些变量分别代表：

= 执政党候选人获得的主要党派投票百分比

= 执政党候选人是总统时等于1，否则等于0

= 执政党候选人担任过美国副总统时等于1，否则等于0

= 挑战者党候选人担任过美国副总统时等于1，否则等于0

= 执政党候选人担任过美国参议员时等于1，否则等于0

= 挑战者党候选人担任过美国参议员时等于1，否则等于0

= 执政党候选人担任过美国州长时等于1，否则等于0

= 挑战者党候选人担任过美国州长时等于1，否则等于0

= 执政党候选人担任过美国众议员时等于1，否则等于0

= 挑战者党候选人担任过美国众议员时等于1，否则等于0

我并不考虑经济、候选人个性以及我的学生认为重要的其他因素。我选择一些依稀相关的因素，并得到了准确无误的关联，因为我的等式可以完美地预测这10次总统大选的所有结果。例如，我的模型对希拉里·克林顿在2016年两党投票中的预测结果为51.11%，正等于她的实际得票率。

当我的学生看到模型与数据完全匹配时，他们不禁认为我已经找到了预测总统大选的神器。我的模型并不包括他们认为重要的任何因素，但是它看上去很合理，因为它使用了与总统候选人背景相关的解释变量。最重要的是，我的模型与数据非常吻合，因此它肯定正确，是学生自己犯错了。

然后，我又给他们展示第二个完全符合1980—2016年10次总统大选数据的模型：

$$
\begin{array} { c } { { \dot { 1 } _ { \ 0 } ^ { \boldsymbol { \wp } } = 8 4 . 7 9 \ - \ 1 . 6 2 \mathrm { T } 1 \ - \ 0 . 3 0 \mathrm { T } 2 \ - \ 0 . 0 4 \mathrm { T } 3 \ - \ 0 . 5 4 \mathrm { T } 4 + 2 . 9 4 \mathrm { T } 5 \ - } } \\ { { 0 . 3 9 \mathrm { T } 6 \ + \ 0 . 6 0 \mathrm { T } 7 \ + \ 0 . 1 4 \mathrm { T } 8 \ - \ 1 . 0 5 \mathrm { T } 9 } } \end{array}
$$

这9个解释变量均为大选之日的最高气温，分别来自9座城市，并且这些城市所在的大州只有极少数选票：

T1 = 蒙大拿州博兹曼市的最高气温

T2 = 内布拉斯加州布罗肯鲍市的最高气温

T3 = 佛蒙特州伯灵顿市的最高气温

T4 = 缅因州卡里布市的最高气温

T5 = 怀俄明州科迪市的最高气温

T6 = 特拉华州多佛市的最高气温

T7 = 西弗吉尼亚州艾尔肯斯市的最高气温

$$
7 8 = 1 \textcircled { < } \frac { 1 } { 1 2 } \textcircled { < } \frac { 1 } { 1 2 } \times ( \frac { 2 } { 2 } ) \times 1 1 : \frac { 1 } { 2 } \times \frac { 1 } { 1 2 } \textcircled { < } \frac { 1 } { 1 2 } \times \frac { 1 } { 1 2 } = \frac { 1 } { 7 } \times \frac { 1 } { 1 2 }
$$

T9 = 爱达荷州波卡特洛市的最高气温

之所以选择这些城市，是因为我喜欢它们的名字，也能找到它们早至1940年的每日天气数据。

现在，我的学生都感到困惑了，同时还有很多人心存疑虑。这些都是我一手捏造的吗？博兹曼市或布罗肯鲍市的气温怎么会对总统大选造成实质影响呢？为什么执政党候选人获得的选票与博兹曼市的温暖天气存在负相关系数，而与科迪市的温暖天气存在正相关系数？完全没有符合逻辑的解释，但这个模型却与数据非常吻合。

总统大选可能会受到天气影响。这可能是搜遍数据才能发现的、意料之外的关系。我可能偶然做到了知识发现，证明了数据挖掘的威力。你是否也不禁信以为真了？

所以，我决定让模型看似更加荒唐。我推算出第三个与1980—2016年10次总统大选数据完全相符的模型：

$$
\begin{array} { c } { { \dot { 1 } _ { \ L ^ { 0 } \ L } ^ { 0 \ L } = \ L 3 3 . 7 3 \ L - 0 . 0 1 \mathrm { R 1 } \ L + \ L 0 . 2 6 \mathrm { R 2 } \ L + \ L 0 . 2 1 \mathrm { R 3 } \ L + \ L 0 . 2 0 \mathrm { R 4 } \ L \mathrm { - } 0 . 0 1 \mathrm { R 5 } \ L + } } \\ { { \ L 0 . 1 9 \mathrm { R 6 } \ L + \ L 0 . 0 1 \mathrm { R 7 } \ L - \ L 0 . 3 3 \mathrm { R 8 } \ L - \ L 0 . 1 8 \mathrm { R 9 } } } \end{array}
$$

这一次，解释变量的确都是随机得来的。我使用了计算机软件随机生成两位数的数字，这些数字与现实世界没有一点关系，与总统选举年期间美国发生的事情更没有关系。但是，该模型与数据的匹配度还是非常高。

尽管我的学生满腹疑团，但这一切确实并非我无中生有。不过，我确实有个秘诀。

独家秘诀

假设我想解释为什么2016年底的股价会比2015年底的高10%，并且我声称这一切都是因为天气。具体来说，是因为位于加利福尼亚州中央山谷的波特维尔小镇的天气，我父亲就在那里长大。你会认为我疯了，而如果我真的这么想，那么你说得也没错。但是，你先听我把话说完。

图7.4所示的数据散点图为2015年和2016年最后一天的标准普尔500指数以及波特维尔的最低气温。图中显示两者存在绝对完美的相关关系。这两个变量之间的相关性为1。股价完全可以根据我父亲家乡的气温变化来预测。谁能想到呢？

秘诀（这当然少不了）就是，散点图中的两点之间总会存在完美的线性关系。我还可以选择1974年和1997年出生的、名叫克莱尔的新生儿数量，或是圣安东尼奥马刺篮球队在2012年和2015年的获胜场数。这些数据和标准普尔500指数之间同样会存在完美的线性关系，因为连接两点总会出现一条直线。

然而，这种拟合关系却毫无用处。任何试图通过波特维尔的气温来预测股价的人，都会以失败而告终。

我在二维图表中使用两个数据点，说明这种荒唐的想法适用于采用更多数据的、更复杂的模型。图7.4使用一个解释变量（波特维尔的气温）完全匹配了两种观察结果。如果有3种观察结果，两种解释变量也完全匹配。即便有10种观察结果，9种解释变量也是一样的情况。

这就是我得出上述三个预测10次总统大选的模型的方法，一个比一个离谱，秘诀在于使用9个解释变量，仅此而已。这9个解释变量也没有什么特别之处，任何9个都可以。重点在于，我使用这9个变量的目的是预测10次大选。

这就是所谓的“过拟合”（overfitting）数据的极端例子。在任何实证模型中，我都能通过增加越来越多的解释变量，来提高模型的解释力——在极端的例子中，可以将其提高到精确吻合的程度。变量是否合理几乎无足轻重。

这种建模方法也就是常说的“厨房水槽法”，即一股脑把所有解释变量统统塞进模型中。无法避免的问题是，即使模型与原始数据吻合度很高，使用新数据来预测也丝毫不起作用。波特维尔的天气不能准确预测股价，除非“瞎猫碰到死耗子”。我做的包含9个变量的总统大选模型也无法准确预测其他总统大选结果，除非歪打正着。

回看1980年之前的10次总统大选，就能看清我做的总统大选模型的缺点。如图7.5所示，运用时任总统情况和挑战者的数据得出的模型1与1980—2016年间的10次总统大选结果完全吻合，但是与1980年之前的10次总统大选的结果却截然不同。该模型预测理查德·尼克松会在1972年的大选中惨败，普选得票率仅为29%。可实际上他以绝对优势取胜，普选得票率高达62%。尼克松拿下了除马萨诸塞州之外的各个大州，这个“海湾之州”的一些民众还在保险杠上贴了贴纸：“别怪我们。 ”

模型1对1956年和1964年总统大选的预测结果更是一塌糊涂，竟然预测德怀特·艾森豪威尔在1956年的得票率高达几乎不可能的79%（实际结果为58%），还预测林登·约翰逊在1964年的得票率低至几乎不可能的26%（实际结果为61%）。

我过度拟合了最近那10年的总统大选数据，随后尝试预测早前的大选结果（以失败而告终）。我同样也可以通过过度拟合早前10年的总统大选结果来推算系数，然后再用这个模型来预测最近10年的总统大选结果。如图7.6所示，修订版模型与1940—1976年之间的10次总统竞选结果完全吻合，但对最近10年的总统大选的预测结果却糟糕透顶。

模型2和模型3的情况与此如出一辙。如图7.7所示，气温模型与用来推算该模型的数据完全吻合，但是对其他年份大选结果的预测却不尽如人意。该模型预测富兰克林·罗斯福在1940年大选中的得票率为-11%（没错，就是负数），而他的实际得票率为55%。

坦白说，使用9个解释变量来预测10次总统大选是个极端例子。我这么做是想说明一个普遍原理，那就是即使在回归模型中增加毫无意义的解释变量也会提高模型的吻合度。

在预测总统大选的天气模型中，我们不需要添加全部9个解释变量才能达到很高的吻合度，即便只有5个解释变量（即伯灵顿市、科迪市、多佛市、艾尔肯斯市和波卡特洛市的天气），天气模型预测结果与实际得票率之间的相关系数也会达到0.94：

$$
\begin{array} { r } { \dot { 1 } \% = 7 2 . 7 5 - 0 . 3 8 \mathrm { T 3 } + 0 . 5 9 \mathrm { T 5 } + 0 . 4 0 \mathrm { T 6 } - 0 . 3 8 \mathrm { T 7 } - 0 . 6 5 \mathrm { T 9 } } \end{array}
$$

如图7.8所示，显然，这个包含5个解释变量的天气模型与1980—2016年的大选数据高度吻合，而与1940—1976年的数据大相径庭：