约翰·麦卡锡曾在1978年开玩笑说，造出一台与人类智力相当的人工智能机器需要1.7个爱因斯坦、2个麦克斯韦、5个法拉第和3个曼哈顿计划。（后来，这个玩笑的升级版去掉了麦克斯韦和法拉第，但增加了曼哈顿计划的数量。）但是这些人工智能电影似乎只保留了爱因斯坦的戏份，剪掉了所有曼哈顿计划的戏份。
因此，虽然我明白超级智能机器可能带来风险(下文还有更多介绍)，但我认为生物技术带来的危险可能更为紧迫，此外还有人口过剩、全球变暖、环境污染和抗生素耐药性等其他重大问题同样值得关注。
真正的风险
那么，人工智能本身会带来的主要风险是什么呢?我认为最大的风险不是智能或超级智能，而是自主权。换而言之，我最为担忧的是人们将尚未达到完全智能的计算机系统视为智能，并赋予其控制其他机器，自行做出决定的权力。我认为，真正危险的就是让不具备常识的系统做出需要依靠常识判断的决定。
人工智能的进化
164