人工智能时代：破解人机共存密码（套装共10册）

我们已经看到，强化学习的时间差分学习算法可能导致高度复杂的行为，通过人类大脑皮层的深度学习，强化了人类的复杂性。自然界有一系列的智能行为，可以让人工系统从中学习。跨越计算机科学和生物学的算法生物学是一个新的科学领域，寻求使用算法的语言来描述生物系统所使用的问题解决策略。^[14]我们希望，确定这些生物算法将会启迪新的工程计算范式，并能让我们对生物网络有系统级的理解。以上都不是重点，最终的目标是解释跨空间和时间尺度的生物系统中嵌套的复杂性：基因网络、代谢网络、免疫网络、神经网络和社交网络——全部都是网络。

深度学习取决于对一个成本函数的优化。自然界的成本函数是什么呢？进化成本的倒数被称为适应度，但这是一个概念，只在具体的约束条件下才有意义，无论约束条件是来自环境，还是来自要被优化的系统。在大脑中，有一些调节行为的固有成本，例如对食物、温度、安全、氧气和生育的需要。在强化学习中，需要采取行动来优化未来的回报。但除了保证生存的奖励之外，从人类令人眼花缭乱的行为中可以看出，还有各种各样其他的奖励可以被优化。是不是一些潜在的通用成本函数导致了这种多样性呢？

我们仍在寻找暴露智能最高形态秘密的核心概念。我们已经确定了一些关键原则，但是却没有一个概念框架能像DNA解释生命本质那样，优雅地解释大脑如何运转。学习算法是寻找统一概念的好地方。也许，我们在理解深度学习网络如何解决实际问题方面取得的进展，将引出更多线索。我们可能会发现细胞和大脑中使进化成为可能的操作系统。如果我们能解决这些问题，就可能会有想象不到的收获。自然可能比我们每一个人都更聪明，但作为一个物种，我并不认为人类无法解决智能难题。

[1] Sydney Brenner, “Nature’s Gift to Science,” Nobel Lecture, December 8, 2002,video, https://www.nobelprize.org/mediaplayer/index.php? id=523/.

[2] Sydney Brenner, “Reading the Human Genome”: 1. “Much Ado about Nothing:Systems Biology and Inverse Problems,” January 26, 2009; 2. “Measure for Measure: The GC Shift and the Problem of Isochores,” January 29, 2009; 3. “All’s Well That Ends Well: The History of the Retina, January 30, 2009, videos. http://thesciencenetwork.org/search? program=Reading+the+Human+Genome+with+Sydn ey+Brenner.

[3] 成虫盘是苍蝇腿和触须的发育原基。

[4] 西 德 尼 · 布 伦 纳 的 原 创 故 事 发 表 于 S. Brenner “Francisco Crick inParadiso”，Current Biology.6, no.9 (1996):1202：“我在剑桥与弗朗西斯·克里克共事了二十年。有一段时间，他对胚胎学很感兴趣，花了很多时间思考果蝇的成虫盘。有一天，他突然把手上的书猛地摔到桌上，火冒三丈地吼道：‘只有上帝才知道这些成虫盘是怎么工作的！’ 一瞬间，我仿佛看到了弗朗西斯升入天堂后发生的所有事情。门徒彼得欢迎他说：‘哦，克里克博士，你经过漫长的旅程后一定很累。先坐下来，喝一杯，放松一下吧。’‘不，’弗朗西斯说，‘我必须见到上帝，我要问他一个问题。’ 经过一番劝说，天使同意将弗朗西斯带到上帝面前。他们穿过了天堂的中部，到达了位于后方的铁轨处，穿过铁轨，他们来到一个有着瓦楞铁屋顶的棚屋，周围都是垃圾。在屋子后面，有一个穿着工作服的小个子，他的后兜里揣着一个大扳手。‘上帝，’ 天使说，‘这位是克里克博士；克里克博士，这位就是上帝。’‘很高兴见到您，’弗朗西斯说：‘我必须问您这个问题。成虫盘到底是如何工作的？’‘这个嘛，’ 上帝答道，‘我们用了一点点这个东西，又添加了一些东西，然后……其实，我们也不清楚，但我可以告诉你，我们已经在这里创造了2亿年的苍蝇，还从来没收到过任何抱怨呢。’”

[5] T. Dobzhansky, “Nothing in Biology Makes Sense Except in the Light of Evolution,” American Biology Teacher35, no. 3 (1973): 125–129, http://biologielernprogramme.de/daten/programme/js/homologer/daten/lit/Dobzh ansky.pdf.

[6] 在10个月里进行的10个讲座，涵盖10个对数时间刻度的话题。——译者注

[7] Sydney Brenner, “Why We Need to Talk about Evolution,” in “10-on-10: The Chronicle of Evolution” lecture series, Nanyang Technological University,Singapore, February 21, 2017. http://www.paralimes.ntu.edu.sg/NewsnEvents/10on-10%20The%20Chronicle%20of%20Evolution/Pages/Home.aspx. Video. https://www.youtube.com/watch?v=C9M5h\_tVlc8.

[8] Terrence Sejnowski, “Evolving Brains,” in “10-on-10: The Chronicle of Evolution”lecture series, Nanyang Technological University, Singapore, July 14, 2017. https://www.youtube.com/watch?v=L9ITpz4OeOo.

附录一

致谢

我工作的索尔克生物研究所是一个与众不同的地方。从外面看，它就像一个混凝土堡垒，但是当你进入中央庭院时，会看到一大片石灰岩延伸到太平洋，两侧高耸的塔架让这美轮美奂的景色定格在你的眼前（图1）。^[1]我的实验室在南楼，位于庭院外（照片左侧）。你在入口处左边的墙上会看到一张电子显微镜下的海马体的照片，它看起来像一盘意大利面的横截面；入口通向茶室，那里是计算机神经生物学实验室的心脏。

世界上最杰出的一些科学家，包括弗朗西斯·克里克，很喜欢与学生和同事围着圆形的白色茶桌讨论各种科学问题（图2）。事实上，茶室还出现在了克里克的著作《惊人的假说》（The AstonishingHypothesis）中：

特里·谢诺夫斯基在索尔克研究所的团队，在本周的大多数午餐后都会举行非正式的茶会。这些茶会是讨论最新实验结果，抛出新的想法，或只是聊聊科学、政治或新闻的理想场合。有一天我去喝茶，并向帕特·丘奇兰德和特里·谢诺夫斯基宣布，我发现意愿诞生的位置了！它位于或靠近前扣带回。与安东尼奥·达马西奥讨论此事时，我发现他也有同样的想法。^[2]

我尤其记得，克里克在1989年与比阿特丽斯·哥伦布一起喝茶的那天。他告诉我，比阿特丽斯想从事神经网络的研究工作，我应该雇用她。^[3]比阿特丽斯是加州大学圣迭戈分校的一名医学博士生，读研究生的时候曾与克里克一起短暂工作过一段时间。她曾想把神经网络作为她的博士论文项目，但这违反了生物系的规定。我接受了克里克的建议，我们彼此都从对方那里学到了很多。自我们于1990年在加州理工学院的Athenaeum宴会厅举行婚礼以来，我一直在向她学习。

从我在约翰·霍普金斯大学任教开始，茶桌就一直陪伴着我。我于1981年在托马斯·詹金斯生物物理系从事的第一份工作中，为我的新实验室购买的第一件家具就是茶桌。该科系就像一个历史悠久的大家庭，而我是年轻的宠儿，他们让我有信心在新的方向发展，对此我永远心存感激。作为哈佛医学院神经生物学系的博士后，我保留了下午茶传统。在一个庞大而多样的科系里，这是一种让大家保持联系并了解实验进展的方法。我在索尔克研究所的实验室是一个微型大学，拥有来自科学、数学、工程和医学等不同专业背景的学生，下午茶时间是我们大集体团聚的时间。

我很幸运。我的父母很重视教育，从小就十分信任我；我生活在前所未有的经济增长和遍地机会的时代，这开阔了我的视野；我的导师和合作者慷慨地分享了他们的见解和建议；我有幸与一代极其优秀的学生一起工作。我特别感谢杰弗里·辛顿、约翰·霍普菲尔德、布鲁斯·奈特（Bruce Knight）、斯蒂芬·库夫勒、迈克尔·斯蒂麦克（Michael Stimac）和约翰·惠勒（John Wheeler），同样也感谢我的岳父所罗门·哥伦布，他们在我职业生涯的各个转折点帮助我选择了正确的方向。比阿特丽斯具有批判性思维，我从她那里学到了如何避免群体思维。仅仅因为每个人都相信某种解释，并不能证明它就是真理。有时需要花费整整一代人的时间，才能从群体中剔除一个普遍持有的信念。

同时，我还要感谢在本书的写作过程中帮助过我的其他人。与长期合作者帕特里夏·丘奇兰德和“科学网络”的创始人罗杰·宾汉姆（Roger Bingham）在网上进行的探讨，为本书的写作提供了灵感。约翰·多伊尔（John Doyle）对控制理论的洞见启发了我对大脑操作系统的讨论。与凯里·施塔勒（Cary Staller）在瑞士克洛斯特斯和达沃斯附近山上的徒步旅行，帮我理清了对算法空间的理解。芭芭拉·奥克利教会我如何接触到课堂以外的受众。凯里和芭芭拉都帮助我塑造了讲述深度学习故事的方式。还有很多人为本书提供了宝贵的反馈和 建 议 ， 他 们 包 括 ： Yoshua Bengio ， Sydney Brenner ， AndreaChiba ， Gary Cottrell ， Rodney Douglas ， Paul Ekman ， MichaelaEnnis ， Jerome Feldman ， Adam Gazzaley ， Geoffrey Hinton ，Jonathan C. Howard，Irwin Jacobs，Scott Kirkpatrick，Mark和Jack Knickrehm ， Te-Won Lee ， James McClelland ， SaketNavlakha，Barbara Oakley，Tomaso Poggio，Charles Rosenberg，David Silver，James Simons，Marian Stewart-Bartlett，RichardSutton，Paula Tallal，Gerald Tesauro，Sebastian Thrun，AjitVarki，Massimo Vergassola，Stephen Wolfram（他也为本书的书名提供了建议），以及Steven Zucker。

自1984年以来，伍兹霍尔计算神经科学研讨会每年夏天都会举行一次，其中有一小部分核心成员和新的参与者在早上和晚上会进行深入讨论，下午是留给大家做户外活动的自由时间——多么完美的安排。这个研讨会的成员都拥有了杰出的职业生涯。伍兹霍尔研讨会一直持续到今天，但于1999年转移到特柳赖德，和年度神经形态工程研讨会一起举办。我感谢过去三十年来参加这些研讨会的所有人，特别是 John Allman ， Dana Ballard ， Robert Desimone ， John Doyle ，Katalin Gothard ， Christof Koch ， John Maunsell ， WilliamNewsome，Barry Richmond，Michael Stryker，和Steven Zucker。

我在索尔克生物研究所和加州大学圣迭戈分校的同事们，都是杰出的有创业和合作精神的研究人员，他们正在创造生物医学科学的未来。加州大学圣迭戈分校神经计算研究所的教师和学生，在我1990年创所以来，以我从未想象过的方式整合了神经科学和计算。

索尔克研究所的计算神经生物学实验室在过去的三十年里一直是我的家，我的许多学术弟子已经离开，在全世界继续着蓬勃发展的职业生涯。一个实验室就像一个家庭，几代热情的研究生和博士后大大丰富了我的生活。我的实验室管理员罗丝玛丽·米勒（RosemaryMiller）和玛丽·艾伦·佩里（Mary Ellen Perry）精心地照顾着实验室。玛丽·艾伦在过去的十年中一直担任NIPS的董事总经理，李·坎贝尔（Lee Campbell）开发了一个计算机平台，使我们能够将会议规模扩大十倍。

我很感谢麻省理工学院出版社，四十年来它一直是我可靠的合作伙伴，出版了我和托马索·波吉奥编辑的一套关于计算神经科学的丛书；我于1989年创立的期刊《神经计算》（Neural Computation）；我于1992年出版的书《计算大脑》（The Computational Brain）；以及其他人写的一些关于机器学习的基础书籍，比如理查德·萨顿和安德鲁·巴托的《强化学习导论》（Reinforcement Learning：AnIntroduction），伊恩·古德费洛、约书亚·本吉奥和亚伦·库维尔

（Aaron Courville）联合撰写的该领域最重要的教科书《深度学习》。麻省理工学院出版社的罗伯特·普赖尔（Robert Prior）在本书漫长的出版过程中，也对本书的写作提供了指导。

我还要感谢NIPS社区，没有他们，我就无法写出这本《深度学习》，本书远没有涵盖这个领域的全面历史，它只关注了几个主题和参与神经网络研究的一些人。国际神经网络协会的期刊《神经网络》一直是扩大神经网络研究范围的坚强后盾。该协会与IEEE合作，每年举办一次神经网络国际联合会议。机器学习也催生了许多优秀的会议，包括国际机器学习会议（ICML），这是NIPS的姊妹会议。这个领域极大地受惠于来自所有这些组织，以及对其做出贡献的研究人员。

在2018年长滩NIPS的开幕式上，我对NIPS的发展表达了惊叹：“我在30年前第一次参加NIPS会议时从来没有想到，今天会站在这里，面对着8000名与会者发表演讲——我当时以为这个会议只能持续10年。”我于2016年4月访问了现居加州山景城（Mountain View）的杰弗里·辛顿。“谷歌大脑”（Google Brain）团队占据了一栋大楼的一整个楼层。我和杰弗里一起回顾过去的日子，得出了我们已经赢得胜利的结论，但花费的时间比我们预期的要长得多。在这个过程中，杰弗里入选了英格兰和加拿大皇家学会。我也被选为美国国家科学院、国家医学院、国家工程院、国家发明家科学院和国家艺术与科学学院院士，这些都是难得的荣誉。我非常感谢杰弗里·辛顿多年来和我分享他对网络计算的见解。

作为普林斯顿大学的研究生，我曾经致力于研究爱因斯坦的引力理论，广义相对论中的黑洞和引力波。然而，在获得我的物理学博士学位之后，我的研究领域转向了神经生物学，大脑自那时起就引起了我的兴趣。我还不知道我的第三次转变可能是什么。所罗门·哥伦布曾经告诉我，所谓事业，只能用来追溯，我在写这本书时也确认了这一点。回顾过去，我发现了那些让我走到今天这一步的事件和决定，当然，当时的我对这一切还一无所知。