人工智能时代：破解人机共存密码（套装共10册）

我还要感谢那些过去这么多年资助过我的研究组织，包括阿波罗斯塔尔公司（ARO）、DAPRA、FCT、美国科学基金会、福特、谷歌、IBM、柯达、雅虎、斯隆基金会。

最后，我要感谢家人的爱与支持。

延伸阅读

为了让广大读者更深入地探索机器学习世界，我们特此附上延伸阅读部分。此部分包含大量文献，对读者深入学习大有裨益。同时，为了保证准确性，我们保持了此部分中涉及的人名、文献、出版信息等内容的原貌，以飨读者。希望读者朋友能通过本书和这些文献进入丰富多彩的机器学习世界。

如果本书激发了你对机器学习及其相关问题的兴趣，那么在本部分你会找到许多建议。本书的目的不是面面俱到，而是为了引导人们了解与机器学习相关的知识（正如Borges说的那样）。我尽量为读者选择合适的书籍和文章。专业类出版物的阅读至少需要一些计算、统计或者数学领域的背景知识，我们会以星号（\*）来标记这些出版物。即使这些是专业出版物，对读者来说也可以接受很大一部分。我没有把卷号、期刊号、页码列出来，因为网站使这些变得多余，对于出版商的地址来说也同样如此。

如果你想从整体上对机器学习了解更多，网络课程就是开始学习的好选择。并非巧合，与本书内容最为相近的就是我教的这门课（www.coursera.org/course/machinelearning）。也可以参考安德鲁·恩格的课程（www.coursera.org/course/ml）和亚瑟·阿布·穆斯塔法的课程（http://work.caltech.edu/telecourse.html）。接下来就要阅读教材。和本书最相近且最容易接受的一本教材就是TomMitchell的Machine Learning\*（McGraw–Hill, 1997）。更现代且更精确的教材包括Kevin Murphy的Machine Learning: A ProbabilisticPerspective（麻省理工出版社，2012）, Chris Bishop的 PatternRecognition and Machine Learning\*（Springer, 2006），以及An

Introduction to Statistical Learning with Application inR,\*（作者是Gareth James、Daniela Witten、Trevor Hastie、RobTibshirani，Springer, 2013)。我的文章“A few useful things toknow about machine learning” （ Communications of the ACM,2012）总结了一些关于机器学习的传统知识，这些知识在教材中往往较为隐晦，且可作为开始阅读本书之前的参考资料。如果你懂得如何编程，并想尝试机器学习，可以从众多开源软件包开始，例如，Weka（www.cs.waikato.ac.nz/ml/weka）。有两本重要的机器学习杂志 ： 《 Machine Learning 》 和 《 Journal of Machine LearningResearch》。每年举办的机器学习的重要会议包括机器学习国际会议（International Conference on Machine Learning）、国际神经信息 处 理 大 会 （ Conference on Neural Information ProcessingSystems）、国际学术和技术开发研讨会（International Conferenceon Knowledge Discovery and Data Mining ） 。 在http://videolectures.net 上 有 众 多 关 于 机 器 学 习 的 访 谈 。 网 站www.KDnuggets.com是机器学习的一站式服务店，你可以注册账号，获得实时通信，了解最新发展动态。

序

早前列举的机器学习对日常生活的影响可在George John（SIGKDDExplorations, 1999）所著的“Behind–the–scenes data mining”中找到，序言部分“日常生活”段落的灵感也源于此。Eric Siegel的书Predictive Analytics（Wiley, 2013）探索了众多机器学习的应用。麦肯锡全球研究所2011年的报告Big Data: The Next Frontierfor Innovation, Competition, and Productivity对“大数据”这一术 语 进 行 了 推 广 。 在 该 报 告 中 ， Viktor Mayer–Schönberger 和Kenneth Cukier所著的Big Data: A Revolution That Will ChangeHow We Live, Work, and Think （ Houghton Mifflin Harcourt,

2013）一文，讨论了许多由大数据引发的问题。我了解人工智能的教材是Elaine Rich所著的Artificial Intelligence\*（McGraw–Hill,1983）。现在通用的版本是Stuart Russel和Peter Norvig所著的Artificial Intelligence: A Modern Approac （ 3rd., PrenticeHall, 2010 ） 。 Nils Nilsson 的 The Quest for ArtificialIntelligence（Cambridge University Press, 2010）介绍了早期的人工智能。

第一章

John MacCormick 写 的 Nine Algorithms That Changed theFuture（Princeton University Press, 2012）一书介绍了在计算机科学中一些最重要的算法，其中有一章是关于机器学习的。SanjoyDasgupta 、 Christos Papadimitriou 和 Umesh Vazirani 写 的Algotithms\*（McGraw–Hill, 2008）一书是介绍该主题的简明教材。Danny Hillis写的The Pattern on the Stone（Basic Books, 1998）解释了计算机如何运转。Walter Isaacson在The Innovators（Simon& Schuster, 2014）一书中生动描述了计算机科学的历史。

SumitGulwani 、 William Harris 和 Rishabh Singh 写 的“Spreadsheet data manipulation using examples”（Communications of the ACM, 2012）一文就是一个例子，体现了计算机如何通过观察用户来进行自我编程。Tom Davenport和JeanneHarris的Competing on Analytics（HBS Press, 2007）一书介绍了在商务领域如何使用预测分析。Steven Levy在In the Plex（Simon &Schuster, 2011）一书中高水平地介绍了谷歌技术如何起作用。CarlShapiro和Hal Varian在Information Rules（HBS Press, 1999）一书中解释了网络的影响。Chris Anderso在The Long Tail（Hyperion,2016）一书中介绍了长尾现象。

由 Tony Hey 、 Stewart Tansley 、 Kristin Tolle 主 编 的 TheFourth Paradigm（Microsoft Research, 2009）一书探索了通过数据密 集 型 运 算 来 实 现 科 学 转 型 。 James Evans 和 Andrey Rzhetsky 在“Machine Science”（Science, 2010）一文中讨论了一些计算机做出 科 学 发 现 的 不 同 方 法 。 Pat Langley 等 人 写 的 ScientificDiscovery: Computational Explorations of the CreativeProcesses\*（MIT Press, 1987）一书介绍了自动发现科学规律的一系列 方 法 。 Usama Fayyad 、 George Djorgovski 和 Nicholas Weir 在“From Digitized Images to Online Catalogs”（AI Magazine，1996）一文中介绍了SKICAT项目。Niki Wale的Machine Learning inDrug Discovery and Development （ Drug Development Research,2001）一文正好对这个问题进行了概述。Ross King等人写的TheAutomation of Science（Science, 2009）一文介绍了机器人科学家Adam。

SashaIssenberg的The Victory Lab（Broadway Books, 2012）一书仔细分析了在政治领域中数据分析的用途，他的How PresidentObama’s Campaign Used Big Data to Rally IndividualVotes（MIT Technology Review，2013）一文告诉读者迄今为止数据分 析 的 最 大 功 绩 。 Nate Silver 的 The Signal and theNoise（Penguin Press, 2012）一书中的一章介绍了他集中民意的方法。

P. W. Singer的Wired for War（Penguin, 2009）一书主要介绍了机器人战争。Richard Clarke和Robert Knake的Cyber War（Ecco,2012）一书敲响了互联网战争的警钟。我将机器学习与博弈论结合打败对手，这个观点开始是以课题的形式呈现，后来在Nilesh Dalvi等人 的 Adversarial Classification\* （ Proceedings of the TenthInternational Conference on Knowledge Discovery and DataMining, 2004 ） 上 进 行 了 介 绍 。 Walter Perry 等 人 的 PredictivePolicing（Rand, 2013）引导人们如何在警察工作中使用解析学。

第二章

Laurie von Melchner、Sarah Pallas和Mriganka Sur的VisualBehaviour Mediated by Retinal Projections Directed to theAuditory Pathway（Nature, 2000）一文介绍了雪貂大脑重新布线的实验。Joanna Moorhead的Seeing with Sound（Guardian, 2007）和www.benunderwood.com这个网站介绍了Ben Underwood的故事。OttoCreutzfeldt 在 Generality of the Functional Structure of theNeocortex（Naturwissenschaften, 1977）一文中表明皮质是一种算法 。 Vernon Mountcastle 在 “An Organizing Principle forCerebral Function: The Unit Model and the DistributedSystem”一文中也做了同样的阐述，这篇文章收录在Gerald Edelman和 Vernon Mountcastle 编 辑 的 The Mindful Brain （ MIT Press,1978）一书中。Gary Marcus、Adam Marblestone和Tom Dean在TheAtoms of Neural Computation（Science, 2014）中提出反对意见。

Alon Halevy 、 Peter Norvig 和 Fernando Pereira 在 TheUnreasonable Effectiveness of Data（IEEE Intelligent Systems,2009）中赞成机器学习是新的发现范式。Benoit Mandelbrot在同名书（Freeman, 1982）中探索大自然中的分形几何。James Gleick的Chaos（Viking, 1987）一书讨论并描述了曼德布洛特集合。EdwardFrenkel的Love and Math（Basic Books, 2014）一书介绍了朗兰兹纲领，这是一个尝试将数学的不同子域联合起来的研究。Lance Fortnow的The Golden Ticket（Princeton University Press,2013）一书介绍的是NP完全问题和P=NP问题。Charles Petzold的The AnnotatedTuring （Wiley，2008）通过重新研究图灵最初关于图灵机器的论文来对图灵机器进行解释。

Douglas Lenat等人著的“Cyc: Toward programs with commonsense” \*（Communication of the ACM, 1990）一文就介绍了Cyc项目 。 Peter Norvi 在 “On Chomsky and the Two Cultures of

Statistical Learning”（http://norvig.com/chomsky.html）一文中 讨 论 Noam Chomsky 对 于 数 字 学 习 的 批 评 。 Jerry Fodor 的 TheModularity of Mind（MIT Press, 1983）一书总结了他关于大脑如何运 转 的 观 点 。 Leon Wieseltier 的 “What Big Data will NeverExplain” （ New Republic, 2013 ） 和 Andrew McAfee 的 “Pundits,Stop Sounding Ignorant about Data” （ Harvard BusinessReview,2013）中揭示了围绕大数据能做和不能做之间的矛盾。DanielKahneman在Thinking, Fast and Slow（Farrar, Straus and Giroux,2011）一书的第21章解释了算法为什么可以打败感官直觉。DavidPatterson 在 “Computer Scientists May Have What it Takes toHelp Cure Cancer”（New York Times, 2011）一文中证明了计算与数据在与癌症的斗争中所起的作用。

更多学派关于如何获得主算法的观点在以下相应部分中会提到。

第三章

休 谟 的 归 纳 法 经 典 公 式 出 现 在 A Treatise of HumanNature （ 1739 ） 的 I 卷 中 。 因 为 “The Lack of a Prioridistinctions between Learning Algorithms” （ NeuralComputation, 1996）一文中的归纳推理，David Wolpert得出了“天下 没 有 免 费 的 午 餐 ” 定 理 。 我 在 “Toward Knowledge–Rich DataMJining”（Data Mining and Knowledge Discovery, 2007）一文中讨论先验知识在机器学习中的重要性，并在“The role of Occam’srazor in knowledge discovery” （ Data Mining and KnowledgeDiscovery, 1999）一文中讨论了对奥卡姆剃刀理论的误读。在NateSilver的The Signal and the Noise（Penguin Press, 2012）一书中，过拟合是其重要主题之一，他称之为“你绝对没有听过的最重要的科学问题”。John Ioannidis的“Why most published researchfindings are false”\*（PLoS Medicine, 2005）一书讨论了在科学领域中，将巧合发现误以为是真发现的问题。在“Controlling thefalse rate: A practical and powerful approach to multipletesting”\*（Journal of the Royal Statistical Society, SeriesB, 1995）一文中，Yoav Benjamini和Yosef Hochberg提出了反对该观点的方法。在Stuart Geman、Elie Bienenstock和René Doursat的“Neural networks and the bias/variance dilemma” （ NeuralComputation, 1992）一文中展示了方差分解的过程。Pat Langley的“Machine learning as an experimental science” （ MachineLearning, 1998）一文讨论了机器学习中实验法的作用。

William Stanley Jevons在The Principles of Science（1874）一书中首次提出了将归纳法视作演绎法的反向。Steve Muggleton和Wray Buntine 的 “Machine learning of first–order predicatesby inverting resolution”\* （ Proceedings of the FifthInternational Conference on Machine Learning, 1988）一文首先提出在机器学习中使用逆演绎。Saso Dzeroski和Nana Lavrac主编的书Relational Data Mining\*（Springer, 2001）介绍了归纳逻辑编程这个领域，这个领域研究的是逆演绎。Peter Clark和Tim Niblett在“The CN2 Induction Algorithm”\*（Machine Learning, 1989）一文中总结了主要的米夏莱克样式规则归纳算法。Rakesh Agrawal和Ramakrishnan Srikant 的 “Fast algorithms for miningassociation rules”\* （ Proceedings of the TwentiethInternational Conference on Very Large Databases, 1994）一文介绍了零售商使用的挖掘规则的方法。Ashwin Srinivasan、RossKing、Stephen Muggleton和Michael Sternberg的“Carcinogenesispredictions using inductive logic programming”（IntelligentData Analysis in Medicine and Pharmacology, 1997）一文介绍了规则归纳法用于预测癌症的例子。

J. Ross Quinlan 的 C4.5: Programs for Machine Learning\*（Morgan Kaufmann, 1992），以及Leo Breiman、Jerome Friedman、Richard Olshen和Charles Stone的Classification and RegressionTrees\*（Chapman and Hall, 1984）两本书提出了两大主要的决策树学 习 算 法 。 Jamie Shotton 等 人 的 “Real–time human poserecognition in parts from single depth images”\*（Communications of the ACM, 2013）一文解释了微软的Kinect如何 利 用 决 策 树 来 追 踪 玩 家 的 动 作 。 Andrew Martin 等 人 写 的“Competing approaches to predicting Supreme Court decisionmaking”（Perspective on Politics, 2004）一文介绍了决策树在预测最高法院投票中如何打败法律专家，并展示了大法官桑德拉·戴·奥康纳的决策树。

Allen Newell 和 Herbert Simon 在 “Computer science asempirical enquiry: Symbols and search” （ Communications ofthe ACM, 1976）一文中提出假设，认为所有智能都是符号操纵。David Marr在Vision\*（Freeman, 1982）一书中提出信息处理的三个层面。Ryszard Michalski、Jaime Carbonell和Tom Mitchell主编的Machine Learning: An Artificial IntelligenceApproach\*（Tioga, 1983）一书简单介绍了机器学习中象征主义研究的早期成果。Paul Smolensky的“Connectionist AI, symbolic AI,and the brain”\*（Artificial Intelligence Revie, 1987）一文对符号论模型提出了联结主义的观点。

第四章

Sebastian Seung 的 Connectome（ Houghton Mifflin Harcourt,2012）一书对神经科学、神经联结组学、对大脑进行逆向工程的严峻挑战做了浅显易懂的介绍。David Rumelhart、James McClelland主编的Parallel Distributed Processing\*（MIT Press, 1986）一书是20世纪80年代处于繁盛时期的联结主义的“圣经”。James Anderson和Edward Rosenfeld编辑的Neurocomputing\*（MIT Press, 1988）一书整理了许多篇经典的联结主义论文，包括：McCulloch和Pitts的第一批神经模型；Hebb的Hebb规则；Rosenblatt的感知机；Hopfield的Hopfield 网 络 ；Ackley 、 Hinton 和 Sejnowski 的 玻 尔 兹 曼 机 ；Sejnowski 和 Rosenberg 的 NETtalk；Rumelhart 、 Hintonation 和Williams的反向传播。Yann LeCun、Léon Bottou、Genevieve Orr和Klaus–Robert Müller的“Efficient backdrop”\*一文由GenevieveOrr和Klaus–Robert Müller收录到Neural Networks: Tricks of theTrade（Springer, 1998）一书中，提出了一些使反向传播起作用的重要技巧。

Robert Trippi 和 Efraim Turban 编 辑 的 Neural Networks inFinance and Investing\*（McGraw–Hill, 1992）收录了关于神经网络在金融领域应用的文章。Todd Jochem和Dean Pomerleau的“Lifein the fast lane: The evolution of an adaptive vehiclecontrol system”（AI Magazine, 1996）一文介绍了ALVINN无人驾驶汽车工程。Paul Werbos的博士论文是Beyond Regression: New Toolsfor Prediction and Analysis in the BehavioralScience\*（Harvard University, 1974）。Arthur Bryson和Yu–ChiHo在Applied Optimal Control\*（Blaisdell, 1969）一书中介绍了他们反向传播的早期版本。

Yoshua Bengio的Learning Deep Architectures for AI\*（Now, 2009）一书简要介绍了深度学习。Yoshua Bengio、Patrice Simard和 Paolo Frasconi 的 “Learning long–term dependencies with gradient descent is difficult”（IEEE Transactions on Neural Networks, 1994）一文介绍了反向传播中的信号误差扩散问题。John Markoff的“How many computers to identify a cat?16,000”（New York Times, 2012）一书对谷歌的脑计划及其结果进行汇报。Yann