人工智能时代：破解人机共存密码（套装共10册）

LeCun 、 Léon Bottou 、 Yoshua Bengio 和 Patrick Haffner 的“Gradient–based learning applied to document recognition”\*（Proceedings of the IEEE, 1998）一书介绍了卷积神经网络、当前深度学习冠军。Jonathon Keats的“The \$1.3B quest to build asupercomputer replica of a human brain”（Wired, 2013）介绍了欧 盟 的 大 脑 模 仿 项 目 。 Thomas Insel 、 Story Landis 和 FrancisCollins的“The NIH BRAIN Initiative”（Science, 2013）一文介绍了BRAIN计划。

Steven Pinker在How the Mind Works（Norton, 1997）一书的第二章中总结了符号学者对联结主义模型的批判。Seymour Paper在“One AI or Many?”（Daedalus, 1988）一文中争论性地发表了自己的 看 法 。 Gary Marcus 的 The Birth of the Mind （ Basic Books,2004）一书中解释了进化如何促成人类大脑复杂的功能。

第五章

Josh Bongard的“Evolutionary robotics”（Communication ofthe ACM, 2013）一文讨论了Hod Lipson以及其他人关于进化机器人的作品。Steven Levy的Artificial Lif（Vintage，1993）一书也游览了一遍数字化这个“动物园”，从虚拟世界中计算机创造的动物到遗传算法。Mitch Waldrop的Complexity（Touchstone, 1992）一书第五章讲述了John Holland的故事，以及遗传算法研究前几十年的情况。David Goldberg 的 Genetic Algorithms in Search, Optimization,and Machine Learning\*（Addison–Wesley, 1989）一书对遗传算法进行了标准介绍。

在 T. J. M.Schopf 主 编 的 Models in Paleobiology（ Freeman,1972 ） 一 书 中 ， Niles Eldredge 和 Stephen Jay Gould 发 表 了“Puntuatedequilibria: An alternative to phyleticgradualism”一文，这篇文章中提出了他们的间断平衡理论。RichardDawkins在The Blind Watchmaker（Norton, 1986）一书的第九章批评了 该 观 点 。 在 Richard Sutton 和 Andrew Barto 的 ReinforcementLearning\*（MIT Press, 1998）一书中，第二章讨论了探索—利用困境 。 在 Adaptation in Natural and ArtificialSystem\*（University of Michigan Press, 1975）中，John Holland提出了自己的解决方法及其他观点。

John Koza的Genetic Programming\*（MIT Press, 1992）一书是对 该 范 式 的 重 要 参 考 。 在 Minoru Asada 和 Hiroaki Kitano 编 写 的RoboCup–98: Robot Soccer World Cup II（Springer, 1999）一书中 ， David Andre 和 Astro Teller 发 表 了 “Evolving team DarwinUnited”\*一文，这篇文章中介绍了进化的机器人足球队。JohnKoza 、 Forrest Bennett III 、 David Andre 和 Martin Keane 著 的Genetic Programming III\*（Morgan Kaufmann, 1999）一书包含许多经过改进的电子线路。Danny Hillis在“Co–evolving parasitesimprove simulated evolution as an optimization procedure”\*（Physica D, 1990）一文中提出寄生虫有助于进化。AD iLivnat、Christos Papadimitriou、Jonathan Dushoff和Marcus Feldman在“Amixability theory of the role of sex in evolution”\*（Proceedings of the National Academy of Sciences, 2008）一文中提出，性别可优化可混性。Kevin Lang的文章“Hill climbingbeats genetic search on a Boolean circuit synthesis problemof Koza’s”\* （ Proceedings of the Twelfth InternationalConference on Machine Learning, 1995）对遗传编程和爬山法进行了 比 较 。 Koza 对 此 的 回 应 见 “A response to the ML–95 paperentitled...”\* （ unpublished; online at www.genetic–programming.com/jktahoe24page.html）一文.

在 “A new factor in evolution” （ American Naturalist,1896）一文中，James Baldwin提出了同名反应。Geoff Hinton和

Steven Nowlan 在 “How learning can guide evolution”\*（Complex Systems, 1987）一文中介绍了它的运用。鲍德温效应是Peter Tusrney 、 Darrell Whitley 和 Russell Anderson 主 编 的 期 刊Evolutionary Computation1996年的一个特殊问题的主题。

John Neville Keynes 的 The Scope and Method of PoliticalEconomy（Macmillan, 1891）一书区分了描述性和规范性理论之间的区别。

第六章

Sharon Bertsch McGrayne 在 The Theory That Would NotDie（Yale University Press, 2011）一书中对贝叶斯主义进行了介绍，从Bayes到Laplace再到现在。Peter Hoff的A First Course inBayesian Statistical Methods\*（Springer, 2009）一书则对贝叶斯统计进行了介绍。

在 Richard Duda 和 Peter Hart （ Wiley, 1973 ） 的 PetternClassification and Scene Analysi\*一书中，朴素贝叶斯算法被首次提到。在Essays in Positive Economics（University of ChicagoPress, 1966）一书中，Milton Friedman发表了自己对过简理论的支持。朴素贝叶斯在过滤垃圾邮件中的应用则出现在Joshua Goodman、David Heckerman 和 Robert Rounthwaite 的 “Stopping spam”（Scientific America, 2005）一文中。Stephen Robertson和KarenaSparck Jones 的 “Relevance weighting of search terms”\*（Journal of the American Society for Information Science,1976）一文介绍了与朴素贝叶斯相似方法在信息检索中的应用。

Brian Hayes 的 “First links in the Markov chain”（American Scientist, 2013）一文叙述了马尔可夫对同名链的创造。Thorsten Brants等人的“Large Language models in machinetranslation”\*（Proceedings of the 2007 Joint Conference onEmpirical Methods in Natural Language Processing andComputational Natural Language Learning, 2007）一文解释了谷歌翻译如何运行。Larry Page、Sergey Brin、Rajeev Motwani和TerryWinograd的“The PageRank citation ranking: Bringing order tothe Web”（Standford University technical report, 1998）一文介绍了网页排序算法及其在网页上游动的说明。Eugene Charniak的Statistical Language Learning\*（MIT Press, 1996）一书揭示了隐藏的马尔可夫模型的工作原理。Fred Jelinek的Statistical Methodsfor Speech recognition（MIT Press, 1997）一书描述了这些方法在语音识别领域的应用。在David Forney的“The Viterbi algorithm:A personal history” （ unpublished; online atarxiv.org/pdf/cs/0504020v2.pdf）一文中，介绍了隐马尔可夫模型式 的 推 理 在 传 播 中 的 情 况 。 Pierre Baldi 和 Søren Brunak 的Bioinformatics: The Machine Learning Approach\*（2nd ed., MITPress, 2001）一书介绍了机器学习在生物学以及隐马尔可夫模型中的应用。Barry Cipra的“Engineers look to Kalman filtering forguidance”（SIAM News, 1993）对卡尔曼滤波法及其历史、应用进行了简要介绍。

Judea Pearl 关 于 贝 叶 斯 网 络 的 先 锋 之 作 出 现 在 他 的Probabilistic Reasoing in Intelligent Systems\* （ MorganKaufmann, 1988）一书中。Eugene Charniak的“Bayesian networkswithout tears”\*（AI Magazine, 1991）一文很大程度上用非数学的方法对贝叶斯网络进行了介绍。David Heckerman的“Probabilisticinterpretation for MYCIN’s certainty factors”\*（Proceedingsof the Second Conference on Uncertainty in ArtificialIntelligence, 1986）一文解释在何种情况下，包含置信度估计的规则集是贝叶斯网络的合理假设，在什么情况下不是。Eran Segal等人的“Module networks: Identifying regulatory modules and theircondition–specific regulators from gene expression data”（Nature Genetics, 2003）一文就是贝叶斯网络在基因调控领域的一个应用。Ben Paynter的“Microsoft virus fighter: Spam may bemore difficult to sthp than HIV”（Fast Company, 2012）一文讲述David Heckerman如何从垃圾邮件过滤器中获取灵感，并利用贝叶斯网络设计了一种艾滋病疫苗。概率性的或者“喧哗”OR在Pearl的书籍中得到了解释。M.A.Shwe等人的“Probabilistic diagnosis using areformulation of the INTERNIST–1/QMR knowledge base”一文为医学诊断介绍了一种“喧哗”OR贝叶斯网络。Kevin Murphy的MachineLearning\*（MIT Press，2012）的26.5.4部分描述了谷歌的贝叶斯网络 在 广 告 配 置 方 面 的 运 用 。 Ralf Herbrich 、 Tom Minka 和 ThoreGraepel 的 “TrueSkillTM: A Bayesian skill rating system”\* （ Advances in Neural Information Processing Systems 19,2007）一文介绍了微软的游戏评分系统。

Adnan Darwiche 的 Modeling and Reasoning with BayesianNetworks\*（Cambridge University Press, 2009）一书解释了贝叶斯网络中用于推理的主要算法。Jack Dongarra和Francis Sullivan主编的Computing in Science and Engineering期刊的2000年的1\~2月刊包含了和21世纪前十位算法有关的文章，包括马尔可夫链蒙特卡洛。Sebastian Thrun等人的“Stanley: The robot that won the DARPAGrand Challenge”（Journal of Field of Robotics, 2006）解释了同 名 无 人 驾 驶 汽 车 如 何 运 行 。 David Heckerman 的 “Bayesiannetworks for data mining”\* （ Data Mining and KnowledgeDiscovery, 1997）一文总结了用于学习的贝叶斯方法，并解释如何从数据中掌握贝叶斯网络。David MacKay的“Gaussian processes: Areplacement for supervised neural networks?”\*（NIPS tutorialnotes, 1997; online atwww.inference.eng.cam.ac.uk/mackay/gp.pdf）一文大致描述了贝叶斯学派如何安排网络入侵防火墙系统。

Dan Jurafsky 和 James Martin 的 Speech and LanguageProcessing\*（2nd ed., Prentice Hall, 2009）一书的9.6部分讨论了在语音识别中对词汇概率进行加权的必要性。我和Mike Pazzani关于 朴 素 贝 叶 斯 的 论 文 是 “On the optimality of the simpleBayesian classifier under zero–one loss”\* （ MachineLearning, 1997; expanded journal version of the 1996conference paper）。上面提到的Judea Pearl的书讨论了马尔可夫网络和贝叶斯网络。计算机视觉中的马尔可夫网络就是Adrew Blake、Pushmeet Kohli和Carsten Rother主编的Markov Random Fields forVision and Image Processing\*（MIT Press, 2011）这本书的主题。John Lafferty 、 Andrew McCallum 和 Fernando Pereira 的“Conditional random fields: Probabilistic models forsegmenting and labeling sequence data”\* （ InternationalConference on Machine Learning, 2001）一文介绍了可将条件释然性最大化的马尔可夫网络。

Jon Williamson 和 Dov Gabbay 主 编 的 Journal of AppliedLogic2003年的一期特刊探索了试图将概率与逻辑结合起来的历史。Michael Wellman 、 John Breese 和 Robert Goldman 的 “FromKnowledge bases to decision models”\*（Knowledge EngineeringReview, 1992）一文讨论了早期一些解决该问题的智能方法。

第七章

Frank Abagnale在和Stan Redding一起创作的自传Catch Me IfYou Can（Grosset& Dunlap, 1980）中详细描述了他的英勇事迹。Evelyn Fix 和 Joe Hodges 最 初 关 于 最 近 邻 算 法 的 技 术 报 告 是“Discriminatory analysis: Nonparametric discrimination:Consistency properties”\*（USAF School of Aviation Medicine,

1951）。Belur Dasarathy主编的Nearest Neighbor (NN) Norms\*收录了许多该领域中的重要论文。Chris Atkeson、Andrew Moore和StefanSchaal 的 “Locally weighted learning” （ ArtificialIntelligence Review, 1997 ） 一 文 探 索 了 局 部 线 性 回 归 。 PaulResnick 等 人 的 “GroupLens: An open architecture forcollaborative filtering of netnews”\* （ Proceedings of the1994 ACM Conference on Computer-Supported Cooperative Work,1994）一文介绍了基于最近邻的首个协同过滤系统。Greg Linden、Brent Smith和Jeremy York的“Amazon.com recommendations: Item–to–item collaborative filtering”\* （ IEEE InternetComputing, 2003）一文介绍了亚马逊的协同过滤系统（参见第八章网飞的延伸阅读部分）。Mayer–Schonberger和Cukier的Big Data以及Siegel的Predictive Analysis（之前引用过）引用了推荐系统对于亚马逊和网飞销售业绩的贡献。1967年，Tom Cover和Peter Hart写了一篇 关 于 最 近 邻 的 误 差 率 的 文 章 ——“Nearest neighbor patternclassification”\* （ IEEE Transactions on InformationTheory）。

Trevor Hastie 、 Rob Tibshirani 和 Jerry Friedman 的 TheElements of Statistical Learning\*（2nd ed., Springer, 2009）的2.5部分讨论了维数灾难。Ron Kohavi和George John的“Wrappersfor feature subset selection”\* （ Artificial Intelligence,1997）一文对比了属性选择方法。David Lowe的“Similarity metriclearning for a variable–kernel classifier”\* （ NeuralComputation, 1995）就是一个特征赋权算法的例子。

Nello Cristianini 和 Bernhard Schokopf 的 “Support vectormachines and kernel methods: The new generation of learningmachines”（AI Magazine, 2002）一文在很大程度上运用了非数学的方法来介绍支持向量机。Bernhard Boser、Isabel Guyon和VladimirVapnik 的 “A training algorithm for optimal marginclassifiers”\*（Proceedings of the Fifth Annual Workshop onComputational Learning Theory, 1992 ） 。 Thorsten Joachims 的“Text categorization with support vector machines”（ Proceedings of the Tenth European Conference on MachineLearning, 1998）是第一篇将支持向量机运用到文本分类中的论文。Nello Cristianini 和 John Shawe–Taylor 的 An Introduction toSupport Vector Machine（Cambridge University Press, 2000）一书中的第五章在支持向量机的背景下简要介绍了约束优化。

Janet Kolodner的Case–Based Reasoning\*（Morgan Kaufmann,1993）是该主题的教材。Evangelos Simoudis的“Using case–basedretrieval for customer technical support”\* （ IEEE Export,1992）一文揭示了它在求助台中的运用。“Rise of the softwaremachines”（Economist, 2013）及其公司的主页上介绍了正畸诊疗软件的Eliza。Kevin Ashley在Modeling Legal Argument\*（MIT Press,1991）中探索了基于案例的法律推理。David Cope在“Recombinantmusic: Using the computer to explore musical style” （ IEEEComputer, 1991）一文中总结了他用于进行自行音乐创作的方法。Dedre Gentner 在 “Structure mapping: A theoretical frameworkfor analogy”\*（Cognitive Science, 1983）一文中提出了构造图。James Somers的“The man who would teach machines to think”（Atlantic, 2013）讨论了道格拉斯·霍夫斯泰特对于人工智能的看法。

我 的 文 章 “Unifying instance–based and rule–basedinducton”\*（Machine Learning, 1996）介绍了RISE算法。

第八章

Alison Gopnik、Andy Meltzoff和Pat Kuhl的The Scientist inthe Crib（Harper, 1999）一书总结了心理学家关于儿童如何进行学习的发现。

1957年，Stuart Lloyd在贝尔实验室的一篇技术报告“Leastsquares quantizataion in PCM”\*（最后以一篇论文的形式出现在1992年的IEEE Transactions on Information Theory）中，k均值聚类算法首次被提出。关于最大期望算法的原文是Arthur Dempster、Nan Laird和Donald Rubin的“Maximum likelihood from incompletedata via the EM algorithm”\* （ Journal of the RoyalStatistical Society B, 1977 ） 。 Leonard Kaufman 和 PeterRousseeuw的Finding Groups in Data: An Introduction to ClusterAnalysis\*（Wiley，1990）介绍了分级聚类及其他方法。

Kar Pearson 在 1901 年 的 一 篇 名 为 “On lines and planes ofclosets fit to systems of points in space”\*（PhilosophicalMagazine）的文章中提出，pricipal–component analysis是机器学习及统计中最古老的技术。Scott Deerwester等人的文章“Indexingby latent semantic analysis”\* （ Journal of the AmericanSociety for Information Science, 1990）介绍了用于给SAT作文打分的一种降维方法。Yehuda Koren、Robert Bell和Chris Volinsky在“Matrix factorization techniques for recommender systems”\*（IEEE Computer, 2009）中解释网飞式协同过滤系统如何运行。Tenenbaum、Vin de Silva和John Langford的“A global geometricframework for nonlinear dimensionality reduction”\*（Science,2000）介绍了Isomap算法。

Rich Sutton 和 Andy Barto 的 Reinforcement Learning: AnIntroduction\* （ MIT Press, 1998 ） 一 书 是 该 主 题 的 标 准 教 材 。Marcus Hutter的Universal Artificial Intelligence\*（Springer,2005）尝试对加强学习进行理论上的总结。“Some studies inmachine learning using the game of checkers”\*（IBM Journallof Research and Development, 1959）一文介绍了Arthur Samuel关于学习如何下国际象棋的开创性研究，这篇文章也是“机器学习”这个术语最早出现的印刷品之一。Chris Watkins对于强化学习问题的构想 也 出 现 在 他 的 博 士 论 文 Learning from DelayedRewards\*（Cambridge University, 1989）中。Voloydymyr Mnih等人的 “Human–level control through deep reinforcementlearning”\*（Nature, 2015）一文介绍了DeepMind用于视频游戏的强化学习算法。

在“A cognitive odyssey: From the power law of practice to a general learning mechanism and beyond” （ Tutorials in Quantitative Methods for Psychology, 2006）一文中重述了组块的 发展。A/B测试和其他在线实验技术在Ron Kohavi、Randal Henne和 Dan Sommerfield的“Practical guide to controlled experiments on the Web: Listen to your customers not to the HiPPO” \*（Proceedings of the Thirteenth International Conference on Knowledge Discovery and Data Mining, 2007）一文得到了解释。 Eric Siegel的Predictive Analytics（Wiley, 2013）一书第七章的 主题就是隆起建模，即对A/B测试的多维度概括。

Lise Getoor和Ben Tasker编辑的Introduction to StatisticalRelational Learning\*（MIT Press, 2007）一书探索了这个领域的主要方法。“Mining social networks for viral marketing”（IEEEIntelligent Systems, 2005）是我和Matt Richardson关于模拟口头语的文章。

第九章