人工智能时代：破解人机共存密码（套装共10册）

第4章

坏数据

1971年，在我刚开始教授经济学课程的时候，我妻子的爷爷知道了我的博士论文使用了耶鲁大学的大电脑来估算一个极其复杂的经济模型。他是几十年的老股民，股票炒得很成功。他甚至在股票代理人办公室有张自己的桌子，可以在那里侃侃大山、玩玩股票。

尽管如此，他还是会征求我这个身无分文、从未碰过股票的21岁小伙子的建议，就因为我跟电脑打过交道。“问问计算机觉得斯伦贝谢怎么样”，“问问计算机觉得通用电气怎么样”。

自从100多年前，查尔斯·巴贝奇发明了第一台计算机后，这种认为计算机万无一失的天真想法就一直在人类社会挥之不去。伟大的数学家布莱士·帕斯卡在青年时代为了帮助担任法国收税员一职的父亲，制造了一台名为“Arithmetique”（算术运算）的机械计算器。Arithmetique是一个方盒装置，盒面有看得见的刻度盘，连接置于盒内的齿轮。每个刻度都有0\~9共10个数字。个位数盘柱从9转一周到0，然后十位数盘柱进一级；十位数盘柱从9转一周到0，然后百位数盘柱进一级；以此类推。Arithmetique可以做加减法，但是刻度必须要手动扭转。

巴贝奇发现他可以将复杂的公式转换为简单的加减算法，并使其自动进行计算，而且机械计算机每次都能准确无误地算出结果，消除人为错误。

巴贝奇的第一项设计被称为“差分机”（Difference Engine），这台以蒸汽为动力的庞然大物由铜和铁制成，高8英尺^[1]，重15吨，有2.5万个零部件。差分机可完成小数点后20位数的计算，打印出格式化的结果表。又捣鼓了10年后，巴贝奇开始着手设计运算能力更强的计算器，他称之为“分析机”（Analytical Engine）。这一设计有5万多个零件，使用打孔纸带输入指令和数据，能储存多达1 000个50位的十进制数。分析机有一个圆柱式“作坊”，高15英尺，直径为6英尺，执行从长25英尺的“仓库”传来的指令。上述“仓库”类似现代计算机的内存，“作坊”类似中央处理器。

很多人都对巴贝奇的构想震惊不已。他在自传中详细叙述道：“我有两次被（国会议员）问道：‘巴贝奇先生，请问如果你输入机器的数据是错的，会得到正确的结果吗？’”巴贝奇坦言：“我理解不了提出这个问题的混乱思维。

即便到了计算机不再稀奇的今天，还是有很多好心人士存在“计算机不会出纰漏”的误解。当然，现实情况是，就算我们指挥计算机去干蠢事，它也会照办不误。

“种瓜得瓜，种豆得豆”的说法就简明地提示我们，即便计算机能力再强，输出内容的价值也取决于输入内容的质量。这句话还有个改版，即“点石成金”，指的是人们倾向于过度信任计算机生成的输出内容，而不认真思考输入内容的质量。实际上，如果计算机的运算是基于“坏数据”，那么结果输出的肯定不是精华，而是糟粕。

还有数不胜数的例子能说明人们过分崇拜基于误导性数据的运算。本章提供了几个例子，但也只是无处不在的“坏数据”的冰山一角。“大数据”并不总是“更好的数据”。

人类能够识别“坏数据”，或将错误考虑在内，或抛弃坏的数据。木匠有句行话叫“测量不误切割工”。对于数据，我们也要坚持“思考不误算术工”。但计算机无法做到这样，因为对计算机来说，数字不过是数字而已，没有实质意义——就像对填字游戏专业玩家奈杰尔·理查兹来说，法语词汇也只是字母的组合而已，并没有实质意义。

在阅读本章例子时请思考一下，无论计算机的运算能力有多强，它是否有可能识别“坏数据”？

自我选择偏好

科学实验通常包括实验组和控制组。例如，100株土豆苗的种植土壤条件相同，它们得到的水分和阳光也一样。随机选择50株土豆苗（实验组），在土壤中加入咖啡渣，其余50株（控制组）的土壤中则不添加，然后观察土豆苗的生长状况和产量是否出现明显差异。

行为学中，涉及人类的实验都有局限性。我们不能让受试对象失业、离婚或生子，从而观察他们的行为。我们只能凑合着使用通过观察失业、离异和有孩子的人得来的数据。根据观察得出结论是自然而然的，但也存在风险。

2013年，《大西洋月刊》刊登了一张荧光色的图表，看得我真想戴上太阳镜。该表题为“大学的经济价值毋庸置疑”。我将该表中的数据整理成表4.1，这样你就不用戴上太阳镜了。

表4.1 美国25岁以上成人的失业率与周收入中位数

一名博客使用者得出了预料之中的结论：“数据清楚地表明，受教育程度越高，收入越高，失业率就越低。”

作为大学教授的我不准备讨论大学学历的好处，但是这样的数据（随处可见）肯定夸大了受教育程度的经济价值。人们并不是随机被归入受教育程度的某个类别，而是自己做出选择和被筛选的。有些人不想上大学，有些人申请优秀大学被拒，还有些人上了大学但没有毕业。我们都能想到为什么人们有不同的机遇，做出不同的选择。

我们在不考虑做出选择的原因就进行选择差异对比时，会出现如上述例子所示的“自我选择偏差”（self-selection bias）。人们选择要做的事，个人的选择可以反映出他是什么样的人。在进行的控制实验中，将受试对象随机分组，并让他们唯命是从，这样就可以避免出现自我选择偏差。也就是说剥夺受试对象的选择权，就能消除自我选择偏差。我们都很幸运，研究人员几乎无法仅为得到所需实验数据，就迫使我们做不喜欢的事情。

为了亲自验证，我于1983年去了科德角度假，有个邻居给我看了《科德角时报》的一篇文章。人口调查局会根据年龄、性别和受教育程度，定期估算人们一生中的收入情况。该报纸利用这些估算结果得出：

接受过大学教育的18岁男性，其“价值”是高中辍学的同龄男性价值的两倍。据估计，前者在18\~64岁期间的平均收入超过130万美元，而后者约为60.1万美元。

邻居说，他读高中的儿子迈克成绩很差，正在考虑辍学，到家族的建筑公司上班。但是迈克的爷爷看到这篇文章后告诉迈克，辍学的话就会损失70万美元。邻居问我是否同意这种看法。

我试着委婉地回答。如果迈克高中时就学不好，那么对他来说读大学会不会更困难？大学毕业后，他想从事什么工作？如果迈克愿意在家族企业上班，就算读完大学再工作，他一辈子可能也多挣不了多少。如果有任何不同的话，读大学后他可能会收入更少，因为读大学费用昂贵，而且大学期间他也无法工作。

读大学或许能让迈克受益，但不可能是70万美元。

有些大学生的时间都花在派对狂欢而不是埋头苦读上，这不仅会导致他们成绩下滑，还会让他们陷入更多麻烦。因此，有人提出限制学生饮酒的建议。2001年，哈佛大学的“大学饮酒研究”发现，在禁酒的学校中，学生嗜酒的可能性要低30%，并且完全戒酒的可能性更高，这说明禁酒可以给学校带来很大的好处。但这里可能存在两种自我选择偏差。第一，嗜酒现象少的学校或许更有可能禁酒。第二，不喝酒和不喜欢喝酒的学生，或许更有可能选择禁酒的学校。

还有一个主题类似的研究，调查弗吉尼亚理工大学附近酒吧的啤酒消费状况。研究发现，一般情况下，点杯装或瓶装啤酒的人，啤酒饮用量仅为点壶装啤酒的人的一半。该研究得出结论，“如果我们禁止壶装啤酒，就可以大大改善嗜酒问题”，该结论还在全美国发表了。这里的自我选择偏差很明显，点壶装啤酒的人，肯定是事先想好要喝很多才会这么下单的。酒量大的人，即便被强制点杯装或瓶装啤酒，也仍会喝很多。多年后，实行该项研究的教授对此也承认：“很多大学生想要喝醉……我们通过几项研究表明，他们的想法会影响行为。如果他们想喝醉，那么很难成功制止他们。

然而，这项研究显然对斯坦福大学管理层有所启发。他们制定了饮酒政策，禁止体积大于或等于标准酒瓶的烈酒容器——“限制烈酒容器的体积是一种降低伤害的策略，旨在减少饮酒者在一定时间内可获取的酒量。我们认为这个基于研究得出的方法很明智，很有创意”。

斯坦福大学的学生很快就意识到其荒谬之处——买大容量装的人，本就打算喝很多酒。如果被迫买小容量装，他们只要多买几瓶就行了。有些学生还设计了一个叫作“让斯坦福再次安全”（MakeStanford Safe Again）的网页来取笑这一发现，网页上有与图4.1类似的配图。

双专业学生的平均分通常都高于单专业学生的平均分，这表明修双专业能提高学生的成绩。这里明显的自我选择偏差在于，选择双专业的学生和没有如此选择的学生，存在系统性差异。

大学毕业后的生活又如何呢？如今很多学生选择进入金融行业，希望通过股票买卖或者说服别人买卖股票挣大钱。瑞士圣加仑大学的一项研究指出，股票经纪人生性“比精神病患者更加不顾一切、争强好胜和老谋深算”。股票交易会对人类行为造成如此大的不良影响，是否应该对其下达禁令？抑或根据苏格兰一所大学1996年的研究，应该鼓励股票交易，“（对精神病患者）管教得当的话，他们会成为成功的股票经纪人，而不是沦为连环杀手”。又或者，这里存在自我选择偏差，因为生性如此的人更倾向于从事这个行业。还有可能，上述两所大学的研究都是实验者“心有所想”的结果？

为做出截然不同的职业生涯选择，我参加了波莫纳学院的教授及董事大会。在会上盖蒂博物馆的一名代表吹嘘，他们博物馆提供的全日制暑期实习项目，有效地提高了从事相关职业的学生人数，“在我们博物馆实习过的学生中有43%现在都在博物馆或其他非营利性视觉艺术机构工作”。这一数据听上去令人心动，但证明不了什么。其中肯定也存在自我选择偏差，因为申请实习的学生有可能正是对这些领域感兴趣的。其他57%的实习生在实习结束后改变想法了吗？

举一个老掉牙但很重要的例子，开跑车（尤其是红色跑车）的人，比开小货车的人更有可能被开罚单。除了警察爱挑开跑车的人以外，你还能想到其他合理解释吗？这里的自我选择偏差是，选择开跑车的人有可能喜欢开快车，而选择开小货车的人在乎的是车上孩子的安全。

美国西北大学的研究人员观察了2 000多名60岁以上的受试对象，发现他们每天多坐一个小时，在日常活动（例如自己穿衣服）中出现困难的概率就会增加50%。我非常同意生命在于运动，但有没有可能，那些选择久坐的人是因为他们本身就有运动障碍？

一项针对英国某家医院20 072例急诊住院病例的研究发现，公共假期期间入院的患者，在七天内因病身亡的概率比平时入院的患者要高出48%。对这些数据的一种解释是，公共假期期间在急诊室加班的医生的水平相对差些，不应该让他们留守急诊室。还有可能是因为，在放假期间，除非遇到生死攸关的情况，否则人们都不愿意往急诊室跑。又或者，假期内由于人们出行更频繁、饮酒更不节制、更加放纵自己，所以才会出现更多重伤病例。

有些地方似乎比急诊室更加危险。实际上，最危险的地方显然是床上，因为死在床上的人比死在其他地方的更多。又一次出现了自我选择偏差，即将死之人通常都会被放到床上，但这并不代表床就是杀人利器。

再来看其他例子。20世纪50年代的一项关于身体健康的研究指出，已婚男性的身体健康状况比同龄未婚或离异男性的要好，这表明男性的健康法宝就是结婚并永不离异。然而，人们结婚或离异是自我的选择。由于这种自我选择偏差，即使婚姻通常不利于男性健康，报告所显示的数据也支持结论。试想，如果女性更不愿意嫁给身体状况不佳的男性，那么已婚男性通常会比未婚男性更健康。再试想一下，女性更有可能与患病的丈夫离婚，那么已婚男性通常也会比离异男性更健康。因此，就出现了自相矛盾，一方面婚姻不利于男性身体健康，另一方面已婚男性却通常比未婚和离异男性更健康。这都是受到自我选择偏差影响的结果。

某州的一项研究对比了每小时限速为55英里、65英里和75英里的高速公路的交通死亡率（驾车每英里的死亡人数）。研究发现，每小时限速为75英里的高速公路的死亡率最低，每小时限速为55英里的高速公路死亡率最高。显然，提高限速可有效减少交通死亡人数，可能是因为在车速较快的情况下，驾驶员会更集中注意力。这项研究统计上最大的问题是什么呢？该州设定每小时限速为75英里的路段肯定是最安全的（道路直、照明好、车辆少）。

在上述示例以及更多的其他例子中，计算机程序都会得出错误结论——预测学生选择第二个专业就能提高成绩，男性结婚后就能改善健康，推迟去急诊室能够延长重危病人的生命，提高车辆限速能降低交通死亡率。

人类能识别自我选择偏差，但计算机不能。

相关系数并非因果关系

一项心理学研究发现，家庭关系的紧张程度与看电视的时长存在强正相关系数，这表明看电视会让家庭关系更紧张。另一项研究指出，参加过驾驶训练课程的人，比没参加过的人更有可能发生车祸，这表明驾驶训练课程培养出的驾驶员更差。一项请愿敦促学校开设拉丁语课，请愿者认为学过拉丁语的学生在口语能力测试中的成绩，比没学过拉丁语的同龄人要高。