--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能与大数据技术导论" author: null edition: null publisher: null year: null isbn: "9787302517986" library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71" source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0" pdf_physical_page_count: 490 pdf_physical_page_index_base: 0 range_start: 60 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=60&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=60&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=50&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=70&limit=10" --- # 人工智能与大数据技术导论 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=60 | PRINTED_PAGE=44 2.3 应用层 人工智能给各行各业带来了变革与重构，一方面将AI技术应用到现有的产品中，创新产品，发展新的应用场景；另一方面AI技术的发展也对传统行业造成颠覆，人工智能对人工的替代成为不可逆转的发展趋势，尤其在工业、农业等简单、重复、可程序化强的环节中，而在国防、医疗、驾驶等行业中，人工智能提供能够适应复杂环境，更为精准、高效的专业化服务，从而取代或者强化传统的人工服务，服务形式在未来将趋于个性化和系统化。 人工智能与行业的深度结合，可以实现传统行业的智能化，包括AI+金融、AI+医疗、AI+安防、AI+家居、AI+教育等，如图2-11所示。在各个垂直领域中，传统厂商具备产业链、渠道、用户数据优势，正通过接入互联网和AI搭载人工智能的浪潮进行转型。创业公司深耕垂直领域，快速崛起，致力于推动技术进步、场景落地。应用层厂商更多直接面对用户，或者遵循2B、2C的发展路径，相较于技术层和基础层，具有更多的用户数据，也需要进一步打磨产品，满足用户需求。 对于人工智能的应用来说，技术平台、产业应用环境、市场、用户等因素都对人工智能的产业化应用市场有很大的影响。如何实现人工智能产业自身的创新并应用到具体场景中将会是各行业发展的关键点。目前，人工智能技术的主要应用场景包括但不限于：安防、制造业、服务业、金融、教育、传媒、法律、医疗、家居、农业、汽车等。人工智能技术日益成熟，商业化场景逐渐落地，智能家居、金融、医疗、驾驶、安防等多个行业成为目前主要的应用场景。 2.3.1 安防 安防的应用场景较多，小到身份识别、家居安防，大到反恐国防。现代社会人口流动大，中产阶级逐渐崛起，用户财产逐渐积累，而收入增多的同时带来的是风险的加大，用户安全性缺失，安防成为用户的刚需。身份识别手段的多样性对于安防意义重大，因此安防领域对于图像识别的要求更高，也要求更多的手段通过多维度来进行识别，如图2-12所示，AI技术的进步可以大大提高身份识别手段的多样性与准确率，对于安防的意义重大，尤其是安防在国防安全领域的应用，具有国家战略意义。 在视频监控技术飞速发展的今天，视频监控画面的信息已成海量，远远超过了人力所能进行的有效处理范围。传统采用人工回放录像取证的方式具有效率低下、容易出错的缺点。而人工智能技术恰好具有处理海量信息的能力，也能在技术的基础上实现实时监控、基准判断。智能视频分析（Intelligent Video Analysis，IVA）技术是解决海量视频数据处理的有效途径。IVA采用计算机视觉方式，主要应用于两个方面，一是基于特征的识别，主要用于车牌识别、人脸识别。特征识别与视频智能分析应用于安防体系中，提高了安防的时效性、安全性和精准度。二是行为分析技术，包括人数管控、个体追踪、禁区管控、异常行为分析等，可以应用到监测交通规则的遵守、周界防范、物品遗留丢失检测、人员密度检测等。通过对视频内的图像序列进行定位、识别和追踪，智能视频分析能够做出有效分析和判断，从而实现实时监控并上报异常，使得安防由被动防范向提前预警方向发展，将实现对危险分子的主动识别，安防行为由被动向主动转变。 人工智能与大数据技术导论 44 ## PDF_PHYSICAL_PAGE_INDEX=61 | PRINTED_PAGE=45 从应用领域来看，目前平安城市、智能交通仍然是安防行业最大的应用领域，与政府公安相关的交通、道路视频监控仍然是安防行业最重要的应用环节。计算机视觉广泛应用于飞机场、火车站等公共场合，在大规模视频监控系统中可实现实时抓拍人脸、布控报警、属性识别、统计分析、重点人员轨迹还原等功能，并做出及时有效的智能预警。且对于抓获有作案前科的惯犯帮助很大，目前多应用于公安事前、事中、事后敏感人员布控，失踪人员查找等。安全布防需要消耗大量的警力资源，尤其是运动会、国家会议、演唱会等重点区域和重点活动的安防，其中已经开始出现人工智能产品的身影，包括实时监测系统、巡逻机器人、排爆机器人等，未来这些机器人也将会更多地替代传统安防体系中重复且低效的工作，节省警力资源。 有必要指出的是，安防体系中存储的信息将呈指数级增长，需要大数据平台及其配套的硬件设备进行整合。 2.3.2金融 AI在金融领域的应用主要集中在投资决策辅助、风控与智能支付三个方面。在投资决策辅助方面，人工智能技术将协助金融工作者从数以万计的信息中迅速抓取有效信息，并进一步对数据进行分析，利用大数据引擎技术、自然语义分析技术等自动准确地分析与预测各市场的行情走向，从而实现信息的智能筛选与处理，辅助工作人员进行决策。在风控方面，人工智能也能帮助金融机构建立金融风控平台，进行风控管理，实现对投资项目的风险分析和决策、个人征信评级、信用卡管理等。在智能支付领域中，利用人工智能的人脸识别、声纹识别技术可实现“刷脸支付”或者“语音支付”。 第2章 AI产业 45 ## PDF_PHYSICAL_PAGE_INDEX=62 | PRINTED_PAGE=46 金融行业与整个社会存在巨大的交织网络，在长期的发展过程中沉淀了海量数据，如客户身份数据、资产负债情况数据、交易信息数据等，金融业对数据的强依赖性为人工智能技术应用到金融领域做好了准备。按金融业务执行前端、中端、后端的模块来看，人工智能在金融领域的应用场景主要有智能客服、智能身份识别、智能营销、智能风控、智能投顾、智能量化交易等。 身份认证主要通过人脸识别、指纹识别、声纹识别、虹膜识别等生物识别技术快速提取客户的特征。近年来，金融机构对远程身份识别、远程获客需求日益增加，而人脸信息凭借易于采集、较难复制和盗取、自然直观等优势，在金融行业中的应用不断增加。人脸识别可实现客户“刷脸”即可开户、登录账户、发放贷款等，让金融机构远程获客和营销成为可能。在互联网金融领域，“刷脸”也可以应用到刷脸登录、刷脸验证、刷脸支付等诸多领域。同时，人脸识别可以成为银行安全防控手段的有效选择。银行安防的难点之一是在动态场景下完成多个移动目标的实时监控，人脸识别技术在银行营业厅等人员密集的区域可有效实现多目标实时在线检索、比对，在ATM自助设备、银行库区等多个场景下都可以应用。2015年，马云在德国汉诺威消费电子、信息及通信博览会上演示了蚂蚁金服的扫脸技术，并完成一笔淘宝购买，支付宝先后将人脸识别技术应用于用户登录、实名认证、找回密码、支付风险校验等场景智能身份识别中，并且日益成熟。中国人民银行发布《中国人民银行关于优化企业开户服务的指导意见》（银发（2017)288号），对新设企业开立人民币银行结算账户服务提出意见。央行鼓励银行积极运用技术手段提升账户审核水平，包括鼓励银行将人脸识别、光学字符识别（OCR）、二维码等技术手段嵌入开户业务流程，作为读取、收集以及核验客户身份信息和开户业务处理的辅助手段。 人工智能技术可以助力金融行业形成标准化、模型化、智能化、精准化的风险控制系统，帮助金融机构、金融平台及相关监管层对存在的金融风险进行及时有效的识别和防范。如图2-13所示，人工智能应用于金融风险控制的流程主要包括：数据收集、行为建模、用户画像及风险定价。智能风控可以协助金融监管机构防范系统性金融风险。人工智能+大数据分析技术可以助力金融监管机构建立国家金融大数据库，防止金融系统性风险。在信贷领域，智能风控可以应用到贷前、贷中、贷后全流程。贷前，助力信贷机构进行信息核验、信用评估、实现反欺诈；贷中，可以实现实时交易监控、资金路径关联分析、动态风险预警等；贷后，可以助力信贷机构进行催收、不良资产等价等。系统包含一组模型，会根据身份认证、还款意愿和还款能力三大维度，给申请贷款的用户进行信用评分，依据分值来决定是否应放款。有效提升了贷款审批速度和贷款获批率，并降低了贷款的逾期率。 人工智能与大数据技术导论 46 ## PDF_PHYSICAL_PAGE_INDEX=63 | PRINTED_PAGE=47 金融行业目前正在打造闭合的全产业链，提供的服务不仅针对客户成长中的某一阶段，而是全生命周期的服务。如图2-14所示，每个客户都要经历获取、提升、保持、流失和衰退几个阶段。在不同的发展阶段，风险特点及对金融服务需求的特点不尽相同。基于AI技术，我们可以对不同阶段的客户开展个性化金融业务。 智能投顾是指通过使用特定算法模式管理账户，结合投资者的风险偏好、财产状况与理财目标，为用户提供自动化的资产配置建议。根据美国金融监管局提出的标准，智能投顾的主要流程包括客户分析、资产配置、投资组合选择、交易执行、组合再选择、税收规划和组合分析。客户分析主要通过问询式调研和问卷调查等方式收集客户的相关信息，推断出客户的风险偏好以及投资期限偏好等因素，再根据这些因素为客户量身定制完善的资产管理计划，并根据市场变化以及投资者偏好等变化进行自动调整。智能投顾将有效减少投融资双方信息不对称的问题，降低交易成本。智能投顾发展的两大核心要素：一是自动化挖掘客户金融需求技术，帮助投资顾问更深入地挖掘客户的金融需求，智能投顾产品设计更智能化，与客户的个性化需求更贴近，弥补投资顾问在深度了解客户方面的不足；二是投资引擎技术，在了解客户金融需求之后，利用投资引擎为客户提供金融规划和资产配置方案，提供更合理、更个性化的理财产品。 2.3.3 制造业 人工智能的应用有望实现制造业从半自动化生产到全自动化生产的转变，工业以太网的建立、传感器的使用及算法的革新将实现工业制造过程中所有生产环节的数据打通，人与机器、机器与机器实现互联互通，一方面人机交互更为便利，另一方面机器间将协作办公，既能够精细化操作，又能及时地预测产品需求并调整产能。人工智能将推动机器在制造业中进一步取代人工，提高生产效率、降低生产成本，并通过低成本的个性化生产实现智能定制化服务。 第2章 AI产业 47 ## PDF_PHYSICAL_PAGE_INDEX=64 | PRINTED_PAGE=48 2.3.4智能家居 如图2-15所示，AI在智能家居场景中，一方面将进一步推动家居生活产品的智能化，包括照明系统、音箱系统、能源管理系统、安防系统等，实现家居产品从感知到认知再到决策的发展；另一方面在于智能家居系统的建立，搭载人工智能的多款产品都有望成为智能家居的核心，包括机器人、智能音箱、智能电视等产品，智能家居系统将逐步实现家居自我学习与控制从而提供针对不同用户的个性化服务。 目前，智能家居仍处于从手机控制向多控制结合的过渡阶段，手机App仍是智能家居的主要控制方式，但基于人工智能技术开发出来的语音助手、搭载语音交互的硬件等软硬件产品已经开始进入市场。通过语音控制，多产品联动的使用场景逐步变为现实。而在未来，人工智能将推动智能家居从多控制结合向感应式控制再到机器自我学习自主决策阶段发展。 传统的鼠标操作、触屏操作逐渐向语音交互这种更为自然的交互方式演进，语音交互的未来价值在于用户数据挖掘，以及背后内容、服务的打通，以语音作为入口的物联网时代将会产生新的商业模式。智能音箱、服务机器人、智能电视等智能化产品成为现阶段搭载语音识别技术和自然语言处理技术的载体，作为潜在的智能家居入口，智能音箱、服务机器人和智能电视等产品在提供原有的服务的同时，接入更多的移动互联网服务，并实现对其他智能家居产品的控制。这些产品为付费内容、第三方服务、电商等资源开拓了新的流量入口，用户多方数据被记录分析，厂商将服务嫁接到生活中不同的场景中，数据成为基础，服务更为人性化。 2.3.5 医疗 目前，医疗行业存在医疗资源不足、医疗资源区域分布不均、医生培养周期长、医疗成本高、医疗误诊率高、疾病变化快等诸多痛点。同时，随着人口老龄化逐渐加剧、慢性疾病增长，对医疗服务的需求也逐渐增加。待解决的医疗痛点及逐渐增加的医疗服务需求成为人工智能技术应用于医疗行业的现实需求。医疗行业基于人工智能技术，将形成辅助诊断系统，通过图像识别、知识图谱等技术，将辅助医生决策，而医学大数据的发展将患者信息数字化，提高发现潜在疾病的概率，并提供针对性解决方案。人工智能技术将为医疗领域中的医生与患者带来新的疾病治疗方式。 人工智能与大数据技术导论 48 ## PDF_PHYSICAL_PAGE_INDEX=65 | PRINTED_PAGE=49 另一方面，政策在积极推动“人工智能医疗”的应用进程。2016年6月，国务院发布《关于促进和规范健康医疗大数据应用发展的指导意见》，提出健康医疗大数据是国家重要的基础性战略资源，需要规范和推动健康医疗大数据融合，支持研发健康医疗相关的人工智能、生物三维打印技术、医用机器人及可穿戴设备等。指导意见的出台有利于进一步促进医疗大数据的规范化、标准化，进一步释放医疗大数据的价值，助力“人工智能+医疗”产业化提速。2017年7月8日，国务院发布《新一代人工智能发展规划》，提出发展便捷高效的智能服务，围绕教育、医疗、养老等需求，加快人工智能创新应用；提出推广人工智能治疗这种新模式、新手段，建立智能医疗体系，开发人机协同的手术机器人、智能诊疗助手等，实现智能影像识别、病理分型和智能多学科会诊；智能健康和养老方面，提出加强群体智能健康管理，突破健康大数据分析、物联网等技术，构建安全便捷的智能化养老基础设施体系，加强老年人产品智能化和智能产品适老化等。 在医疗领域，人工智能技术应用前景广泛。从全球企业实践来看，“人工智能+医疗”具体应用场景主要有医学影像、辅助诊疗、虚拟助理、新药研发、健康管理、可穿戴设备、急救室和医院管理、洞察与风险管理、营养管理及病理学、生活方式管理与监督等。 “人工智能+医学影像”是将人工智能技术应用在医学影像的诊断上，实际上是模仿人类医生的阅片模式。人工智能技术应用于医学影像主要包括数据预处理、图像分割、特征提取和匹配判断4个流程。人工智能强大的图像识别和深度学习能力有助于解决传统医学影像中存在的准确度低、工作量大的问题，弥补影像科医生不足，提升读片准确度，提高医生工作效率，缓解放射科医生压力。同时，技术手段助力疾病早筛，及早为患者发现病灶，提高患者存活率。虽然影像识别在单病种的市场空间不大，但在政策推动背景下，影像科、检验科等科室市场化运营，成立病理中心，高端诊断服务将成为影像识别技术的巨大机会。 “人工智能+辅助诊疗”就是将人工智能技术应用于辅助诊疗中，让机器学习专家医生的医疗知识，通过模拟医生的思维和诊断推理来解释病症原因，最后给出可靠的诊断和治疗方案。在诊断中，人工智能需要获取患者病症，解释病症，通过推理判断疾病原因及发展走向，形成有效治疗方案。如图2-16所示，辅助诊疗的一般模式为：获取病症信息→做出假设→制定治疗方案。IBMWatson融合了认知技术、推理技术、自然语言处理技术、机器学习及信息检索等技术，是目前“人工智能+辅助诊疗”应用中最为成熟的案例。IBMWatson已经通过了美国职业医师资格考试，并在美国多家医院提供辅助诊疗服务。IBMWatson可以在17秒内阅读3469本医学专著、248000篇论文、69种治疗方案、61540次试验数据、106000份临床报告。“人工智能+辅助诊疗”服务基于电子处方、医学文献、医学影像等数据，寻找疾病与解决方案之间的对应关系，构建医学知识图谱，在诊断决策层面有效优化医生的诊断效率。未来，“人工智能+辅助诊疗”的市场空间巨大，尤其在基层常见病诊疗方面能够发挥较大效能，有效提高基层医疗效率，降低医疗成本。 第2章 AI产业 49 ## PDF_PHYSICAL_PAGE_INDEX=66 | PRINTED_PAGE=50 人工智能广泛应用于医疗领域，有助于解决现阶段医疗资源不足的核心痛点。移动互联网时代，我国医疗行业现阶段的核心痛点从信息不透明转移到了优质医疗资源不足，同时伴随着医疗成本高、人才培养周期较长等问题，人工智能高效计算能力有效提高医疗行业的产能。人工智能广泛应用于医疗领域有助于带动基层医疗服务。“人工智能+医疗”有望成为一种可复制的医疗资源，增加基层医生的诊断精准度。 2.3.6自动驾驶 自动驾驶也可以称为无人驾驶，指依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。先进驾驶辅助系统（Advanced Driver Assistant System，ADAS)利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，从而能够让驾驶者以最快的时间察觉可能发生的危险。ADAS采用的传感器主要有摄像头、雷达、激光和超声波。ADAS与自动驾驶的区别在于：ADAS可以视为自动驾驶实现的一个路径，ADAS可以最终演化为自动驾驶。 自动驾驶研究领域目前基本分为两大阵营：以传统汽车厂商和Mobileye合作的“递进式”应用型阵营；以谷歌、百度以及初创科技公司为主的“越级式”研究型阵营。表2-5显示了自动驾驶两个阵营之间的差别。 人工智能与大数据技术导论 50 ## PDF_PHYSICAL_PAGE_INDEX=67 | PRINTED_PAGE=51 自动驾驶系统分为4个层级：感知层、识别层、决策层、执行层。自动驾驶各层级及其相互关系如图2-17所示。 1. 感知（传感） (1) 车载摄像头 以摄像头为代表的机器视觉传感器是自动驾驶的核心感知技术。视觉系统不仅能够识别目标距汽车的距离，还能够识别目标的纹理和色彩，这是车载雷达所不能做到的。相比于其他传感器，摄像头的优势在于：技术成熟，成本较低；可以通过较小的数据量获得最为全面的信息。但是，摄像头识别也存在一定局限性：受光线、天气影响大：物体识别基于机器学习数据库，需要的训练样本大，训练周期长，难以识别非标准障碍物；由于广角摄像头的边缘畸变，得到的距离准度较低。 目前摄像头的应用主要有以下几种： ●单目摄像头：一般安装在前挡风玻璃上部，用于探测车辆前方的环境。 ●后视摄像头：一般安装在车尾，用于探测车辆后方的环境，应用于倒车可视系统。 ●立体摄像头，或称双目摄像头：利用两个经过精确标定的摄像头同时探测车辆前方的环境，实现更高的识别精度和更远的探测范围。 ●环视摄像头：一般至少包括4个摄像头，分别安装在车辆前、后、左、右侧，实现360°环境感知，应用于自动泊车和全景泊车系统。 (2)超声波雷达 超声波雷达主要是利用超声波原理，由探头发送超声波撞击障碍物后反射此声波，计算出车体与障碍物间的实际距离。超声波雷达现在主要应用于倒车雷达。 第2章 AI产业 51 ## PDF_PHYSICAL_PAGE_INDEX=68 | PRINTED_PAGE=52 (3) 激光雷达 激光雷达的原理与超声波雷达相似，根据激光遇到障碍后的折返时间，计算与目标的相对距离。激光雷达的激光光束与超声波雷达的声波和毫米波雷达的电磁波相比更加聚拢，声波和电磁波在传播路径上遇到尺寸比波长小的物体时，将会发生衍射现象，因此，无法探测大量存在的小型目标，而激光雷达可以准确测量视场中物体轮廓边沿与设备间的相对距离，精度可达到厘米级别。而用于雷达系统的激光波长一般只有微米的量级，因而它能够探测非常微小的目标，测量精度也远远高于毫米波雷达及其他车载标准雷达。 激光雷达的劣势在于价格昂贵。激光雷达的测量精度与其雷达线束的多少有关，线束越多，测量精度越高，ADAS自动驾驶系统的安全性也越高。同时线束越多，其价格也越贵。 激光雷达按有无机械旋转部件分为机械激光雷达和固态激光雷达。固态激光雷达无须旋转部件，尺寸较小，性价比较高，测量精度相对低一些。低成本化是激光雷达的一大趋势，目前行业有三种方式来降低整个激光雷达的成本与价格：（1）降维，即使用低线束、低成本激光雷达配合其他传感器；（2）采全固态激光雷达代替机械激光雷达；（3）通过规模效益降低激光雷达的单个成本。 (4) 毫米波雷达 毫米波雷达指工作在毫米波波段的雷达。采用雷达向周围发射无线电，波长在1mm\~10mm，频率在30GHz\~300GHz，比较常见的汽车毫米波雷达工作频率在24GHz、77GHz、79GHz三个频率附近。毫米波雷达通过测定和分析反射波以计算障碍物的距离、方向、角度、相对速度和大小。毫米波雷达可以做到让车辆自适应巡航及跟随前车。当汽车与周围的物体可能有碰撞发生时，通过警告提醒装置告知驾驶员或车辆采取自动紧急制动避免碰撞。当碰撞不可避免时，通过对刹车、头靠、安全带等进行控制，减轻因碰撞而带来的危害。 2. 识别与决策 (1) 识别芯片 芯片在自动驾驶系统中的行业集中度高，主要有Mobileye、ADI等公司，比如Mobileye/ST—EyeQ5。作为ADAS界的大佬，Mobileye占领了全球汽车安全驾驶系统70%以上的市场份额。在这个领域深耕细作十几年，有相当深厚的历史背景，这些经验并不是其他公司短时间可以超越的。 (2) 决策算法 决策部分的算法和芯片主要由一些大公司以及由大公司出来的科学家成立的创业公司研发。由于决策算法需要花费巨大的财力，且短期内商业化的可能性比较小，因此相关联的小型创业公司寥寥无几。 表2-6列出了国内外自动驾驶的“大脑”公司。 人工智能与大数据技术导论 52 ## PDF_PHYSICAL_PAGE_INDEX=69 | PRINTED_PAGE=53 (3) 决策芯片 表2-7列出了有名的自动驾驶决策芯片提供商。 (4) 高精度地图 汽车需配备足够准确显示周围环境的高精度地图，误差不能大于10cm。传感器和地图的结合使自动驾驶汽车能够及时修正数据上的误差，辨识车辆的准确位置并导航。并且，高精度地图能够核对传感器所接收的数据并帮助汽车精确监测周边环境。目前高精度地图已经被苹果、谷歌、国内的BAT等大公司垄断，表2-8是这些公司并购地图厂商的事件。 第2章 AI产业 53 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=70&limit=10)