--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能与大数据技术导论" author: null edition: null publisher: null year: null isbn: "9787302517986" library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71" source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0" pdf_physical_page_count: 490 pdf_physical_page_index_base: 0 range_start: 30 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=30&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=30&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=20&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=40&limit=10" --- # 人工智能与大数据技术导论 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=30 | PRINTED_PAGE=14 人工智能与大数据技术导论 14 ## PDF_PHYSICAL_PAGE_INDEX=31 | PRINTED_PAGE=15 总的来说，这些巨头通过收购拼抢人才，强化技术储备；同时争相开源，构建生态，人工智能的平台化和云端化将成为全球发展的潮流。谷歌是全球在人工智能领域投入最大且整体实力最强的公司，谷歌希望利用开源系统构建AI生态，覆盖更多用户使用场景，从互联网、移动互联网等传统业务延伸到智能家居、自动驾驶、机器人等领域，积累更多数据信息。亚马逊是在B端和C端共同发力的，通过智能音箱和语音助手引领人工智能消费级行业生态。另一方面，亚马逊用人工智能深化AWS云计算服务，赋能全行业。Facebook在人工智能领域的布局主要围绕其用户的社交关系和社交信息来展开。 除了正面竞争外，巨头们在人工智能领域也积极合作。2016年9月，Facebook、亚马逊、谷歌、IBM、微软五大巨头成立了非营利组织PartnershiponAI（人工智能合作组织），旨在分享AI领域的最佳技术实践，促进公众对AI的理解，挖掘可以促进社会福祉的AI研究领域，并提供一个公开参与的平台。 第1章 人工智能概述 15 ## PDF_PHYSICAL_PAGE_INDEX=32 | PRINTED_PAGE=16 1.4 国内AI现状 在国外科技巨头（如微软、谷歌、Facebook等）积极布局人工智能领域的同时，国内互联网巨头BAT及各个科技公司也争相切入人工智能产业，充分展示了国内科技领头羊对于未来市场的敏锐嗅觉。国内AI公司基本集中在应用层，在计算机视觉、语音识别等领域取得了一定的成绩，在人脸识别、人脸支付、语音识别、智能医疗、智能家居等领域的应用发展迅速。表1-5列举了国内BAT公司在人工智能上的布局。 在国内的科技巨头公司中，百度成立了深度学习实验室，研究方向包括深度学习、计算机视觉、机器人等领域。表1-6列出了BAT的AI实验室的名称、成立时间和简介。 北京、上海、广州和深圳正在积极抢抓全球人工智能产业发展的重大机遇，一些城市出台了AI的行动计划，成立了AI研究院。例如，2017年10月，北京市出台《中关村国家自主创新示范区人工智能产业培育行动计划（2017-2020年）》；2017年12月，广州国际人工智能产业研究院在广州南沙自贸区挂牌，中国科学院院士戴汝为受聘为广州AI研究院专家顾问委员会主席；2018年2月，北京前沿国际人工智能研究院正式宣布成立，李开复出任研究院首任院长。与互联网类似，中国将会成为AI应用的最大市场，拥有丰富的AI应用场景、全球最多的用户和全球最庞大的数据资源。 人工智能与大数据技术导论 16 ## PDF_PHYSICAL_PAGE_INDEX=33 | PRINTED_PAGE=17 除了行业巨头公司逐渐完善自身在人工智能的产业链布局外，不断涌现出的创业公司正在垂直领域深耕深挖。未来，“人工智能+”有望成为新业态。值得指出的是，国内人工智能领域主要的问题在于教育人才培养的速度与行业发展速度不匹配。根据麦肯锡《中国人工智能的未来之路》报告：“中国只有不到30所大学的研究实验室专注于人工智能，输出人才的数量远远无法满足人工智能企业的用人需求。此外，中国的人工智能科学家大多集中于计算机视觉和语音识别等领域，造成其他领域的人才相对匮乏。” 1.5 AI 与云计算和大数据的关系 AI是今后产业发展的巨大引擎。无论是国内的BATJ，还是美国的谷歌、亚马逊、微软、Facebook、苹果等公司，他们都已经拥有了海量的云计算基础设施。它们各自推出的AI功能都是为了给予云端客户更强的数据处理能力，从而构建基于人工智能的云服务，这符合未来云服务的“云+AI”发展趋势。例如，亚马逊利用AWS云正尝试为云端客户提供高效的AI解决方案。谷歌寄希望于借AI赶超AWS。基于微软云平台Azure的智能API涵盖了五大方向的人工智能技术，包括计算机视觉、语音、语言、知识、搜索五大类API。 大数据与人工智能相辅相成，在人工智能的加持下，海量的大数据对算法模型不断训练，又在结果输出上进行优化，从而使人工智能向更为智能化的方向进步，大数据与人工智能的结合将在更多领域中击败人类所能够做到的极限。美国巨头的人工智能应用主要围绕大数据挖掘，如Facebook建造能够理解海量数据的人工智能机器。AI在行业应用中更为广泛，AI的火热是与最近几年大数据获得重大的突破紧密相关的。 大数据与云计算的关系如下： ●数据是资产，云为数据资产提供存储、访问和计算。 ●当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用。但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策方案和服务，是大数据的核心议题，也是云计算的最终方向。 .6 aI技术路线 AI的常见开发框架包括谷歌的TensorFlow、Facebook的Torch、微软的CNTK以及IBM 第1章 人工智能概述 17 ## PDF_PHYSICAL_PAGE_INDEX=34 | PRINTED_PAGE=18 的SystemML等，这些框架都是开源软件。2015年，谷歌发布第二代人工智能系统TensorFlow，并宣布将其开源。TensorFlow包括很多常用的深度学习技术、功能和例子的框架，本书用3章详细介绍 TensorFlow。 2013年，卷积神经网络发明者YannLeCun加入Facebook，带领公司的图像识别技术和自然语言处理技术大幅提升。Facebook的深度学习框架是在之前的Torch基础上实现的，于2015年12月开源。表1-7列出了各个公司所提供的AI开源平台。 1.7 AI国家战略 自2016年起，人工智能领域建设已上升至国家战略层面，相关政策进入全面爆发期。2016年5月，国家发改委在《“互联网+”人工智能三年行动实施方案》中明确提出，到2018年，国内要形成千亿元级的人工智能市场应用规模。2017年7月，国务院印发关于《新一代人工智能发展规划的通知》。未来几年内，人工智能产业有望持续获得国家的大力支持，加速人工智能需求的落地。 2017年12月14日，工业和信息化部正式印发《促进新一代人工智能产业发展三年行动计划（2018-2020年）》，提出以信息技术与制造技术深度融合为主线，以新一代人工智能技术的产业化和集成应用为重点，推进人工智能和制造业深度融合，加快制造强国和网络强国建设。该计划按照“系统布局、重点突破、协同创新、开放有序”的原则，提出了四方面的主要任务：一是重点培育和发展智能网联汽车、智能服务机器人、智能无人机、医疗影像辅助诊断系统、视频图像身份识别系统、智能语音交互系统、智能翻译系统、智能家居产品等智能化产品，推动智能产品在经济社会的集成应用；二是重点发展智能传感器、神经网络芯片、开源开放平台等关键环节，夯实人工智能产业发展的软硬件基础；三是深化发展智能制造，鼓励新一代人工智能技术在工业领域各环节的探索应用，提升智能制造关键技术装备创新能力，培育推广智能制造新模式；四是构建行业训练资源库、标准测试及知识产权服务平台、智能化网络基础设施、网络安全保障等产业公共支撑体系，完善人工智能发展环境。 人工智能与大数据技术导论 18 ## PDF_PHYSICAL_PAGE_INDEX=35 | PRINTED_PAGE=19 1.8 AI的历史发展 简单来说，把人工智能发展的60年分为两个阶段。第一阶段：前30年以数理逻辑的表达与推理为主。第二阶段：后30年以概率统计的建模、学习和计算为主。这两个阶段体现了三次人工智能的发展高潮（对AI发展历史不感兴趣的读者，可以直接跳过本节的内容）。 人工智能的萌芽可以追溯到20世纪三四十年代。阿兰·图灵是英国的数学家和密码专家。“二战”期间，他提出了许多破译德军密码的方法，其中最著名的是发明了能够破译恩尼格码（Enigma）密码机设置的机电装置。恩尼格码密码机的强大之处在于它的加密系统变化万千，大概有1.59万万亿种设置机器的可能性，如果靠人力一个一个地尝试来破解一条密码，花费的时间可能要比宇宙存在的时间还长。图灵意识到，仅靠人力无法完成这个任务，出路只有一条，那就是制造另一台更强大的机器。图灵设计的解密机名为“炸弹”，机器每转动一秒，就可以测试几百种密码编译的可能性，十几分钟就可以完成人类数周的运算量，每天可以破译3000多条恩尼格码密码。这台机器在破译截获信息方面发挥了重要作用。 自此，图灵对机器有了新的想法。1950年，在他的论文《计算机器与智能》中，开篇就提出了这样一个问题：机器能思考吗？这是通用电子计算机刚刚诞生的时代。电子计算机的用户，无论是军方、科学家、研究院，还是学生，都将计算机视为一台速度特别快的数学计算工具。很少有人去琢磨，计算机是否可以像人一样思考。图灵却走在了所有研究者的前面。在文章中，图灵试图探讨到底什么是会“思考”的机器，并提出了一个判定机器是否具有智能的实验方法：如果一台机器能够与人类对话，而不被辨别出其机器的身份，那么这台机器便具备智能。这就是著名的图灵测试。 图灵的思想启发了无穷的想象，让人们不断思考着这一话题。1956年，时任美国达特茅斯学院数学助理教授的约翰·麦卡锡与另一位人工智能先驱马文·明斯基以及“信息论”创始人克劳德·香农一道作为发起人，邀请各学科志同道合的杰出学者在美国达特茅斯学院一同探讨建造思考的机器的命题。在会上，研究人员正式将该领域命名为“人工智能”(ArtificialIntelligence），将其确立为一个独立的学科。他们表示：“人们将在一个假设的基础上继续进行有关人工智能的研究，那就是学习的各个方面或智能的各种特性都能够实现精确描述，以便我们能够制造机器来模仿学习的这些方面和特性。人们将尝试使机器读懂语言，创建抽象概念，解决人们目前的各种问题，并且能自我完善”。达特茅斯会议被认为是人工智能的开端。 达特茅斯会议之后的数年是人工智能大发现的时代。研究者们不断取得重要进展，构造出了一系列能够完成一些让以往的人们认为死板的计算器无法完成的任务的计算机程序。例如，亚瑟·山缪尔在50年代中期和60年代初开发的棋类程序的棋力已经可以挑战具有相当水平的业余爱好者。另一项突破是感知人工智能，马文·明斯基和西摩尔·派普特用一个机械手臂、一个摄像头和一台计算机制作了一个会搭积木的机器手臂，这无疑是计算机视觉方面的一项壮举。一个名为SAINT的项目能够解开大学一年级课程水平的微积分中的积分问题。约瑟夫·戴森鲍姆发明了一个名叫ELIZA的聊天机器人，可以实现简单的人机对话。对许多人而言，这一阶段开发出的程序堪称神奇，当时大多数人都无法相信机器能够如此“智能”。 第1章 人工智能概述 19 ## PDF_PHYSICAL_PAGE_INDEX=36 | PRINTED_PAGE=20 研究者们在私下的交流和公开发表的论文中表达出了相当乐观的情绪。1965年，赫伯特·西蒙称，用不了20年，机器就能够完成人类能做的任何工作。不久以后，马文·明斯基补充道：“我们这一代人能够大体上解决创造人工智能的问题。” 伴随着初期的显著成果和乐观情绪的弥漫，在麻省理工学院、卡内基梅隆大学、斯坦福大学、爱丁堡大学建立的人工智能项目都获得了来自ARPA（即后来的DARPA，美国国防高等研究计划署）等政府机构的大笔资金。然而，这些投入却并没有让当时的乐观预言得以实现，从20世纪70年代开始，人工智能的发展开始出现问题。人们发现，即使是最杰出的人工智能程序也只能解决它们尝试解决的问题中最简单的一部分，稍微超出范围就无法应对。这里面主要存在几方面的局限。一是当时的计算机有限的内存和处理速度不足以解决任何实际的人工智能问题；二是有很多计算复杂度以指数程度增加，这些问题的解决需要近乎无限长的时间，所以成为不可能完成的计算任务；三是数据量的缺失，很多重要的人工智能应用（例如机器视觉和自然语言处理）都需要大量对世界的认识信息，在那个年代，没有人能够做出如此巨大的数据库，也没人知道一个程序怎样才能学到如此丰富的信息。人工智能项目的停滞，使人们对该领域的热情渐渐冷却下来，大幅缩减的资助使其首次进入了“人工智能的冬天”。 在通用问题求解机制遭到失败之后，人们开始尝试针对特定领域，使用更强有力的领域相关的知识，以允许更加深入的推理步骤，对付该领域中出现的特殊情况。科学家们认为，70年代的教训是智能行为与知识处理关系非常密切，有时还需要特定任务领域非常细致的知识。例如，一台应用于神经系统科学的电脑必须像合格的神经系统科学家一样，了解该学科的相关概念、事实、表述、研究方法、模型、隐喻和其他方面。要创造出能够解决现实问题的人工智能，需要一台能够将推理和知识相结合的机器，一类名为“专家系统”的人工智能程序应运而生。专家系统的能力来源于它们存储的专业知识，能够根据某领域一个或多个专家提供的知识和经验进行推理和判断，模拟人类专家的决策过程，回答或解决该领域的问题。由爱德华·费根鲍姆创造的DENDRAL是世界上第一个专家系统，它可以推断化学分子结构。另一个类似的项目名为MYCIN，能够诊断血液传染病，表现的甚至比初级医生要好。DENDRAL和MYCIN都只是实验室的实验，并没有真正应用到现实世界。1980年，卡内基梅隆大学为数字设备公司DEC设计了一个名为XCON的专家系统，其目的是按照客户的需求，帮助DEC的销售人员为客户配置适合他们的计算机组件。在使用XCON之前，由于销售人员不都是技术专家，DEC经常发生客户购买的硬件与硬件、硬件与软件不适配的情况，以致引起客户不满甚至进行法律诉讼。到1986年，XCON一共处理了80000条指令，准确率达到95%\~98%，每年为DEC节约2500万美元。其他企业很快也开始研发和应用专家系统，到1985年，约有150家公司投资10亿美元开展人工智能业务。受此鼓励，日本政府投入巨资开发所谓的第5代计算机，其目标是造出能够与人对话、翻译语言、解释图像，并且像人一样推理的机器。其他国家纷纷响应，向人工智能项目提供资助。 有趣的是，像马文·明斯基这样经验丰富的研究者却在回避对专家系统热烈的追捧，预计不久后，人们将转向失望。事实被他们不幸言中，从1987年开始，苹果和IBM生产的个人电脑性能不断提升，这些计算机没有用到AI技术，但性能上却超过了专家系统所使用的价格昂贵的机器。相比于现代个人电脑，XCON等最初大获成功的专家系统维护费用居高不下，难以升级，实用性仅局限于某些特定的场景，专家系统风光不再。资本又一次迅速蒸发，政府补助消失得无影无踪，人工智能的第二个冬天到来了。 人工智能与大数据技术导论 20 ## PDF_PHYSICAL_PAGE_INDEX=37 | PRINTED_PAGE=21 人工智能这一次遭遇的寒流与第一次相比有过之而无不及，人们开始思考人工智能到底往何处走，人工智能研究者是否以正确的方式工作。在早期的人工智能研究里，智能最重要的特征是解决那些困难到连高学历的人都觉得有挑战性的任务，例如象棋、数学定理证明和解决复杂的代数问题。至于四五岁的小孩就可以解决的事情，例如用眼睛区分咖啡杯和一张椅子、用腿自由行走，或者发现一条可以从卧室走到客厅的路径，这些都被认为是不需要智慧的。正因为如此，早期的人工智能研究者对制造出会思考的机器抱着十分乐观的态度，他们认为，当几乎解决了逻辑和代数这样对于一般人困难的问题时，容易的问题例如辨识人脸、在房间内走动等也会很快地被解决。但事实证明他们错了。汉斯·莫拉维克、罗德尼·布鲁克斯、马文·明斯基等人指出，与传统的假设不同，人类所具有的高阶智慧能力只需要非常少的计算能力，但无意识的技能和直觉却需要极大的运算能力。如莫拉维克所说的：“要让电脑如成人般地下棋是相对容易的，但是要让电脑有如一岁小孩般的感知和行动能力却是相当困难甚至是不可能的。”于是，布鲁克斯决定在人工智能和机器人技术的研究上另辟蹊径，从研究人类复杂行为转向研究某些简单行为的组合。他尝试以昆虫为灵感，建造了一种没有辨识能力，只是依靠感应器的输入来迅速决定做什么的机器。布鲁克斯的研究大获成功，这种昆虫机器人可以以人类的步调躲避障碍物，在房间内自由地行动。最终，这种技术用到了扫地机器人上，虽然能执行的任务有限，却真正走入了人们的日常生活，人类与机器人有了第一次亲密接触。 与此同时，一派名为“机器学习者”的计算机科学家向传统人工智能发出质疑的声音。该学派不相信逻辑推理是获取真理的最佳途径，而是采用基于统计模型的研究方法。类似于专家系统这样的系统需要工程师充当各领域专家的角色，将知识提炼成计算机能读懂的规则后编入系统架构，这样的系统需要被不断地更新来适应新的任务，被认为不能自动学习知识。机器学习理论的目的是设计和分析一些让计算机可以自动“学习”的算法，想让计算机能够透过大量历史数据学习到规律，从而对新的数据进行识别或者对未来做预测。由于人们对人工智能开始抱有客观理性的认知，人工智能又产生了一个新的繁荣期。最早的结果为，1997年，IBM的超级计算机深蓝（DeepBlue）战胜世界排名第一的世界象棋大师盖瑞·卡斯帕罗夫，让人工智能重新回到了公众的视野。从2006年开始，随着一种名为“深度学习”技术的成熟，加上计算机运算速度的大幅增长，还有互联网时代积累起来的海量数据，人工智能迎来了第三次热潮。 深度学习是机器学习的一种，其核心计算模型人工神经网络源自于对大脑结构的深刻理解。人类大脑通过神经元的连接来传递和处理信息，人工神经网络的模型就借鉴了人脑的这种机制。这种想法早在20世纪50年代就被提出过，但很快因为无法实际工作而衰落。但杰弗瑞·辛顿等人并没有放弃对神经网络的研究，他们坚信实现机器智能的密码就隐藏在这一层层互相连接的神经元中。经过30多年的耕耘，终于在2006年，辛顿带领他的团队发表了《一种深度置信网络的快速学习算法》及其他几篇重要论文，第一次提出了“深度学习”的概念，突破了此前人工智能在算法上的瓶颈。经过不断地优化，深度学习开始在图像识别上大放异彩。2012年，在代表计算机图像识别最前沿发展水平的ImageNet竞赛中，辛顿团队参赛的算法模型突破性地将图片识别的错误率降低了一半，这是人工智能发展史上一个了不起的里程碑。到 第1章 人工智能概述 21 ## PDF_PHYSICAL_PAGE_INDEX=38 | PRINTED_PAGE=22 2014年，基于深度学习的计算机程序在图像识别上的准确率已经超过人眼识别的准确率。机器终干进化出了视觉，第一次看见了世界。随着机器视觉领域的突破，以深度学习为基础的人工智能开始在语音识别、数据挖掘、自动驾驶、机器翻译等不同领域迅速发展，走进了产业的直实应用场景。2016年，AlphaGo的不可阻挡，让人工智能进入公众的视线，人工智能迅速升温，成为政府、产业界、科研机构以及消费市场竞相追逐的对象。世界各国纷纷将人工智能作为国家战略，加紧出台规划和政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。企业将人工智能作为未来的发展方向积极布局，资本已经把人工智能作为风口大力投入，围绕人工智能的创新创业也在不断涌现。经过60年的发展，人工智能终于从技术走向了应用，渗透到人类生活的各个方面。未来，人工智能将深刻地改变人类的生产和生活方式。 图1-10总结了人工智能不同的研究领域与人类智能中的各种能力的对应关系。 表1-8总结了人工智能发展的脉络及其标志事件。 人工智能与大数据技术导论 22 ## PDF_PHYSICAL_PAGE_INDEX=39 | PRINTED_PAGE=23 第1章 人工智能概述 23 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=40&limit=10)