--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能与大数据技术导论" author: null edition: null publisher: null year: null isbn: "9787302517986" library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71" source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0" pdf_physical_page_count: 490 pdf_physical_page_index_base: 0 range_start: 440 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=440&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=440&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=430&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=450&limit=10" --- # 人工智能与大数据技术导论 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=440 | PRINTED_PAGE=NOT_DETECTED 第15章 公安大数据和人工智能 我国公安信息化建设发展迅猛，公安市场大规模的信息化和装备投资产生了海量的结构化和非结构化数据，包括轨迹信息、工作信息、多媒体信息等。据不完全统计，全国公安机关掌握的数据资源已达数百类、上万亿条、EB级的大数据规模。比如，一个城市一天产生的交通摄像头视频，靠人可能100年都看不完（可惜的是，这些宝贵的数据大多数还没有经过深入分析，就被删除了）。同时，数据产生汇集的速度越来越快，数据呈阶梯式增长。目前，公安数据的年增长率超过50%，增长速度远超以往任何时期。公安数据既有传统的结构化数据，也有大量文档、图片、视频、栅格、矢量、文本等非结构化数据，数据结构、存储方式多种多样。公安数据中蕴藏着人、事、物、组织和案件等丰富的信息，充分利用这些信息，挖掘海量数据背后隐藏的关联关系，对于维护社会大局稳定、预防和打击犯罪、辅助指挥决策都具有重要的价值。 各级公安机关快速积累并不断增长的信息数据已成为继警力资源、装备资源之后的新一类核心资源。如何有效利用海量信息并挖掘内在更大的价值，成为提升公安实战应用能力、建立立体化综合防控体系面临的重大难题。公安信息化“十三五”规划已将云计算、大数据、人工智能等新技术应用作为优化基础性技术设施、提升信息化支撑能力的重要建设内容。 公安大数据的特点 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数据巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息计算和服务业态。 公安大数据的特点也可以用4个V来概括：第一，Volume，数据体量巨大，从TB级别跃升到PB级别：第二，Variety，数据类型繁多，包括网络日志、视频、图片、文本、音频、地理位置信息等，种类混杂，处理难度高：第三，Value，价值密度低，以视频为例，连续不间断的监控过程中，可能有用的数据仅有一两秒；第四，Velocity，处理速度快，各类传感器、视频监控产生的高速数据流需要快速写入。在数据量非常庞大的情况下，也能够做到数据的实时处理。最后这一点和传统的数据挖掘技术有着本质的不同。这4个V对应大数据领域核心的4类技术，即大数据存储、大数据管理、大数据挖掘和大数据计算。随着近年来技术的发展，为公安大数据的处理提供了可能。 ## PDF_PHYSICAL_PAGE_INDEX=441 | PRINTED_PAGE=425 另外，公安大数据还有3个S:一是超复杂性（SuperComplexity），公安大数据涉及面广、种类多样、信息维度高、冗余度大，分析处理难度大；二是超保密性（SuperSecrecy），公安数据直接关乎人民群众的安全，需要更安全高效的保障；三是强实时性（Sooner），机会稍纵即逝，处理数据速度越快，打击指挥链越短，越能更快地抢占先机，赢得胜利。 15.2 建设流程 公安大数据的首要任务是构建基于全警采集、全警共享的统一大数据平台，为实现智慧警务提供核心支撑能力。然后应用机器学习等人工智能技术，对数据平台上的数据进行智能建模分析，构建犯罪预测、警务监督、立体防护、精确警务等公安大数据人工智能应用。公安大数据建设流程如图15-1所示。 （1）数据采集模块是通过公安内部的数据接口实现与网综平台、警综平台、PGIS平台、情报综合平台、治安防控平台、三台合一接处警系统、监所系统、出入境系统、卡口数据库、视频数据库以及其他相关警种部门业务系统的数据交换。通过公共信息共享交换平台接入社会外部单位的业务系统数据，如民航铁路订票系统、酒店旅店住宿系统、公路客运系统、通信运营商系统、工商税务系统、民政司法系统、社交媒体系统、电商系统、教育宗教等系统的外部数据。通过数据资源共享机制为各类情报应用系统提供数据资源支持。 （2）计算引擎模块提供批处理和流处理引擎，实现对离线批处理的复杂处理和对流式数据的高速处理，为警务分析提供实时/准实时的快速处理能力；通过分布式文件系统技术实现对复杂多结构数据的存储、管理与分析，支持传统的Schema数据、Schema-Free数据和视频/ 第15章 公安大数据和人工智能 425 ## PDF_PHYSICAL_PAGE_INDEX=442 | PRINTED_PAGE=426 音频/图像数据的存储、分析与管理。 （3）数据加工整合模块提供社会数据、公安内部数据的清洗、加工、关联和数据治理功能，形成基础数据库以及各类主题库和资源应用库。 (4）数据管控模块：建立各类数据资源的安全管控机制，包括访问控制、审计、可用不可见。 (5）数据服务/可视化模块：提供数据资源的统一共享和服务管理功能，包括服务接口、接口配置、服务资源目录和服务资源监控等功能。还提供数据目录、综合查询、数据报表和基于PGIS的数据可视化功能。 （6）机器学习模块：提供机器学习的各类算法和框架。 (7)数据应用模块：提供数据比对、趋势分析、异常分析、相关性分析等数据挖掘分析功能。 公安大数据管理平台如图15-2所示。 15.3 公安大数据管理平台 当前，经过金盾工程建设与应用积累，公安已经沉淀了海量数据资源，建立了多个实战业务应用系统，以资源整合共享理念为基础，建立了资源服务平台，形成了公安八大资源库。由于业务需求和业务理解不同，各业务应用系统中存在同名数据项实际业务含义不同，同业务含义的数据项名称不同，同义数据项的数据类型、长度等格式定义存在差异等情况，造成公安信息资源共享、关联应用的困难。公安大数据管理平台首先提供大数据建模平台，如图15-3所示。建模平台制定统一的公安信息资源目录体系和公安元数据标准，基于业务属性开展人员、物品、案件、地址、组织、服务标识等主题域模型的细化设计，对数据进行科学、合理、标准的规划。然后，公安大数据管理平台提供大数据交换共享平台，从源头上规范数据采集、整合和共享服务，整合所有公安数据到统一的信息资源服务平台上（如图15-2所示），建立各类主题库，构建安全管控机制，实现统一的公安大数据体系，这是公安大数据发展的基石。在此基础上，通过公安数据服务为各类公安大数据智能化应用提供数据。 人工智能与大数据技术导论 426 ## PDF_PHYSICAL_PAGE_INDEX=443 | PRINTED_PAGE=427 15.3.1公安大数据建模 依托大数据建模平台（见图15-3），基于元数据技术，实现结构化数据、非结构化数据的一体化管理，涵盖数据模型、数据加工流程模型、数据质量管控等方面，具体包括以下几种。 ●元数据管理：通过统一的平台元数据管控，实现对平台各类数据标准、定义、关系及规则等的集中管理和统一服务，确保平台数据运行的规范化、标准化、可视化。 ●数据质量管理：通过标准化的规则管理和调度控制，建立各类数据稽核手段、数据质量分析体系，确保平台数据的一致性、完整性和合规性。 提供数据的加工流程管控体系，采用体系化、标准、可重复的监管机制和执行流程，保证数据加工的统一及数据流程的透明性，保障数据质量及数据的可用性，实现管理数据从采集、加工、存储、应用、归档到最终删除等一系列处理环节中的可视化、配置化、易调控，完成端到端的数据透明管控。利用业务流程驱动机制，使各个数据处理节点的控制要素有机实现链式触发，提升平台数据管控的运营能力和效率，实现平台与内部系统及外部环境的信息数据共享。 ●存储管理：为不同的数据模型提供不同的存储配置，从源头上实现“可用不可见”的安全管控机制。 公安大数据建模平台建设引入了数据治理的核心思想和技术，从制度、标准、监控、流程几个方面提升数据信息管理能力，解决数据标准问题、数据质量问题、元数据管理问题和数据服务问题。 第15章 公安大数据和人工智能 427 ## PDF_PHYSICAL_PAGE_INDEX=444 | PRINTED_PAGE=428 15.3.2 公安大数据汇集 依托大数据交换和共享平台（见图15-3），构建端到端、可视化的数据采集汇集和整合加工体系。通过公安内部数据接口实现与网综平台、警综平台、PGIS平台、情报综合平台、治安防控平台、三台合一接处警系统、监所系统、出入境系统、卡口数据库、视频数据库以及其他相关警种部门业务系统的数据交换。另一方面，通过公共信息共享交换平台接入社会外部单位的业务系统数据，如民航铁路订票系统、酒店旅店住宿系统、公路客运系统、通信运营商系统、工商税务系统、民政司法系统、社交媒体系统、电商系统、教育宗教等系统的外部数据。通过数据资源共享机制为各类情报应用系统提供数据资源支持。 15.3.3 公安大数据服务 公安大数据平台对外发挥价值的核心是提供种类丰富、类型多样的服务接口和服务能力。从服务类型来看，可分为通用类服务、研判类服务和智能类服务，具体说明如下。 通用类服务：在大数据平台提供的数据资源基础上，结合分布式计算、可视化分析和展现等技术，可实现综合查询、搜索引擎、数据比对、布控预警、分类统计等常用功能，以及趋势分析、异常分析、相关性分析等挖掘功能。 ●研判类服务：基于大数据分析挖掘，实现各类战法集市、积分预警模型、全要素分析工具、社交网络分析、隐性重点人挖掘、治安态势分析等综合情报研判功能。 ●智能类服务：综合情报研判功能，实现案件多维分析、人流激增预警、犯罪预测模型、人员智能画像、涉恐系数分析、人员亲密度模型分析等功能。 大数据服务平台还提供可视化服务。借助可视化和人工操作将数据进行关联分析，并做出完整的分析图表。图表中包含所有事件的相关信息，也完整展示数据链走向。 15.4 公安大数据挖掘分析 数据挖掘是从数据中自动地抽取出模式、关联、变化、异常和有意义的结构。根据数据挖掘的任务可分为多种类型，比较典型的有关联分析、分类分析、聚类分析、序列分析等。 关联分析：在关系数据中，发现存在于项目集或对象集之间的关联规则，包括关联、相关性、因果结构或频繁出现的模式。常用的关联分析算法有Apriori算法及它的各种改进或扩展算法。 分类分析：分类在数据挖掘中属于有监督式学习的范畴。分类分析是根据数据的特征为每个类建立一个模型，根据数据的属性将数据分配到不同的组中。常用的分类算法有决策树、神经网络、贝叶斯分类等。 ●聚类分析：按照某种相近程度度量方法将数据分成互不相同的一些分组，实现每一聚类内部的相似性很高、各聚类之间的相似性很低。常用的聚类算法有K均值、最近 人工智能与大数据技术导论 428 ## PDF_PHYSICAL_PAGE_INDEX=445 | PRINTED_PAGE=429 邻、神经网络等。 预测模型分析:从数据库或数据仓库中已知的数据推测未知的数据或对象集中某些属性的值分布。建立预测模型的常用方法包括回归分析、线型模型、支持矢量集、决策树预测、遗传算法、随机森林算法等。 文本挖掘：文本是无结构或半结构化的数据，文本挖掘是从文本数据中推导出模式，其过程是通过文本分析、特征提取、模式分析的过程来实现的。主要技术包括文本结构分析、文本特征提取、文本检索、文本自动分类/聚类、文档自动摘要、话题检测与追踪、文本过滤、文本情感分析等。 15.5 公安大数据 AI应用 涉恐系数应用以部级信息资源服务平台汇集的数百亿条数据作为数据基础，应用机器学习等大数据技术，提炼反恐业务特征的数据项，学习已掌握的涉恐人员数据，提出人员刻画六维模型，即从身份特质、行为偏好、关系网络、不良记录、时空轨迹、经济状况六个维度描述和刻画一个人。每一个维度上又包含大量具体的特征。在此基础上，构建形成涉恐人员标签体系和涉恐系数综合计算模型，通过大数据分析处理实现对千万级目标群体的涉恐概率计算。某市公安局根据涉恐系数计算结果，对23人进行落地核查和跟进管控，核查出涉恐人员7人，取得了较好的预警效果。 犯罪预测应用利用大数据技术，自动抽取警综平台内案事件、人口、地理、天气、房价等数据进行智能建模分析，预测当天辖区案件的高发区域及发案概率，把需要重点防控的区域以简明扼要的图形界面直观地凸显出来，科学引导一线巡防。犯罪预测应用使用的数据集包括警务综合平台的接处警、案事件、人口等39类公安业务数据，以及地理、天气、房价等11类社会时空地理信息，共约8亿条数据。与传统数据分析采用抽样数据不同，大数据预测是用全量数据。通过机器学习发现各类因子与警情的相关性，形成预测模型，不断用数据检验预测结果，修正完善形成最佳的预测模型。某市公安局下辖各派出所采用犯罪预测系统三个月后，统计入室盗窃类违法犯罪警情由2814起下降至2520起，同比下降10.5%。 警务监督管理应用利用大数据技术，构建预防腐败工作“1+3+X”大数据技战法模型，通过抽取有关业务系统高风险项目监测点数据，对业务工作、队伍管理等信息开展关联碰撞、分析研判、预警提示，重点解决传统监督手段进不了系统、系统之间信息关联不够、违纪违法苗头难以及时发现等问题，达到预防腐败工作抓早抓小、防患未然的目的。某市公安局纪委针对近年来查办的民警利用职务之便，违规将户口迁入拆迁地区以非法获利的案件，围绕人口系统“办理常驻户口登记”权力运行中容易发生问题的风险点，关联派出所综合信息系统、警力资源信息系统、执纪办案信息系统、投诉举报信息系统的信息资源，对2013年以来某派出所办理的户口数据进行分析，发现了18名民警将本人的户籍由原来的城镇居民户口（楼房）迁入农村重点拆迁地区的异常情况。 第15章 公安大数据和人工智能 429 ## PDF_PHYSICAL_PAGE_INDEX=446 | PRINTED_PAGE=430 15.6 小结 随着公安信息化建设与应用的不断深化，公安机关掌握的数据资源的广度和深度正在快速扩大，各警种业务对大数据的依赖性越来越强，对大数据定制服务、模型研发的需求越来越多，要求越来越高。实施公安大数据战略可以顺应信息化条件下的公安实战需求，加强对公安内外部数据资源的汇聚、清洗、管理、挖掘分析等工作，为各警种提供更高质量、更有针对性的大数据定制服务，为公安中心工作提供更有力的支持和保障。 大数据的重要特点之一是全数据，而不是样本数据，建立公安大数据平台可以详细记录和获取公安领域所需要的全部数据，避免出现以偏概全的情况，通过对大量数据采集、分析、处理和配置，结合人工智能、计算分析等方法挖掘分析，可以发现有价值的规律，完成科学的预测，帮助制订合理有效的打击计划。运用大数据分析技术可以对各渠道得来的海量信息进行实时化、智能化处理，更加科学地分配警力，形成高效的打击方案。 大数据是打破公安体系内壁垒的有效方法。此前，各警种之间各自为战，各自拥有自主的数据平台，没有实现互联互通，数据规模不等、格式不一、质量各异，无法实现共享。通过大数据加强一体化指挥作战平台的建设和数据共享，加强各基层公安机关搜集数据、存储数据、共享数据的意识，可大大提高公安的作战能力。 当前，依靠经验直觉进行作战指挥的优势正在急剧下降，充分利用大数据的潜在价值，树立大数据理念、完善制度机制、加强数据专业技术人才培养、构建大数据决策支持系统对推动我国公安现代化建设具有重要的战略意义。 人工智能与大数据技术导论 430 ## PDF_PHYSICAL_PAGE_INDEX=447 | PRINTED_PAGE=NOT_DETECTED 第16章 工农业大数据和人工智能 当代信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源。党的十八届五中全会明确提出实施国家大数据战略，《国民经济和社会发展第十三个五年规划纲要》将实施国家大数据战略作为“十三五”时期坚持创新驱动发展、培育发展新动力、拓展发展新空间的重要抓手。我国正面临从“数据大国”向“数据强国”转变的历史新机遇，充分利用数据规模优势，实现数据规模、质量和应用水平同步提升，挖掘和释放数据资源的潜在价值，有利于充分发挥数据资源的战略性作用，有效提升国家竞争力。 大数据目前在教育、金融、医疗等行业大放溢彩，例如利用大数据推动定量化、个性化的教育变革，利用大数据打击金融诈骗，以及利用大数据甄别医疗骗保，实现医疗资源的预测性管理等创新型应用。大数据帮助这些行业实现数据驱动业务、创新及发展，但还没有出现利用大数据这个手段改变工业这些最传统但体量巨大的行业。大数据时代的特征：一是数据要流动起来，利用数据的外部性把看起来和工业风马牛不相及的数据利用起来，探索数据的创新应用；二是智能化，如果没有人工智能在背后支撑，让数据产生巨大的价值，就没有这个大数据时代。智慧工业或者工业4.0的核心是生产加工本身的提升与提高，如何利用大数据等技术去解决工业生产过程中的核心问题才是我们需要去探索及追求的目标。 德国工业4.0、美国先进制造、中国制造2025、英国工业2050等在内的一个个国家级战略部署正在加快推动新的一轮产业革命，而这场革命的核心风暴直指“智能制造”这一新的战略制高点。如图16-1所示，第一次工业革命来自蒸汽机的改进，第二次工业革命来自电气化推进，第三次工业革命来自计算机技术的日新月异，那么，被称为智能制造的第四次工业革命将会是前所未有的多技术更新与融合。 中国制造业的发展水平参差不齐，相当一部分企业还处在“工业2.0”的阶段，因此需要推进工业2.0、工业3.0和工业4.0并行发展通道。我国的工业技术对外依存度高达50%以上，95%的高档数控系统，80%的芯片，几乎全部高档液压件、密封件和发动机都依靠进口。所以，技术创新是发展核心。加快新一代信息技术与制造业的融合，成为制造业转型升级的核心，也是“中国制造2025”规划的主线。 ## PDF_PHYSICAL_PAGE_INDEX=448 | PRINTED_PAGE=432 16.1 中国制造2025 中国制造2025产业链将基于新一代信息技术，贯穿设计、生产、管理、服务等制造活动的各个环节，是先进制造过程、系统与模式的总体规划。其中，中国制造2025将会通过自动化装备（机器人等）及通信技术实现生产自动化，并能够通过各类数据采集分析（大数据）以及应用通信互联手段将数据连接至智能控制系统（人工智能），并将数据应用于企业统一管理控制平台（工业软件平台），从而提供最优化的生产方案、协同制造和设计、个性化定制，最终实现智能化生产。 智能制造产业链中的3个关键点是，传感器提供了“感知系统”，大数据和人工智能提供了“大脑”，工业机器人提供了“装备和手段”。工业机器人是由操作机、控制器、伺服驱动系统和检测传感器装置构成的，是一种仿人操作自动控制、可重复编程、能在三维空间完成各种作业的机电一体化的自动化生产设备。它对稳定和提高产品质量，提高生产效率，改善劳动条件起着十分重要的作用。中国产业升级将从人口红利的发展变成技术红利发展，其核心是机器人化。 人工智能与大数据技术导论 432 ## PDF_PHYSICAL_PAGE_INDEX=449 | PRINTED_PAGE=433 16.2 工业大数据 工业大数据要求处理数据更高效、数据来源更可靠、数据安全系数更高，注重数据安全管理。掌握工业大数据的优势才能打赢中国制造2025，真正地把握未来市场的主动权。 16.2.1工业大数据面临三大制约因素 1.工业大数据安全和开放体系亟待建立 建立数据安全和数据开放体系是工业大数据大规模应用的两个重要前提。我国多数工业企业的信息化建设是由业务部门在业务开展过程中根据自身的局部需求开展建设，缺少统一规划，形成了部门割据的信息化烟囱，导致数据编码不一致，系统之间不能相互通信，业务流程不能贯通。因此，我国工业企业无论在数据的总量上，还是数据的质量上，均和欧美发达国家制造企业存在较大差距，且由于行业垄断或商业利益等原因，数据的开放程度也不高。 另一个制约我国工业大数据应用发展的重要因素是政策法规体系不健全。工业大数据的开发和利用既要满足工业企业典型应用场景的业务发展需求，也要防止涉及国家、企业秘密的数据发生泄露。而目前，我国在工业大数据的利用、评价、交换以及信息安全保护方面的法律法规尚需进一步健全，这在很大程度上抑制了工业大数据应用的广度和深度，不利于工业大数据生态系统的建设和培育。 2.基于工业大数据的企业管理理念和运作模式变革 随着智能设备、物联网技术、智能传感器、工业软件以及工业企业管理信息系统等在工业企业的广泛应用，综合利用各种感知、互联、分析以及决策技术，通过实时感知、采集、监控现场制造加工状况、物流情况、生产准备情况、技术状态管理情况，并开展数据挖掘分析，急需工业大数据平台和相关技术的支撑。 工业大数据应用的目的是推动工业企业基于对内外部环境相关数据的采集、存储和分析，实现企业与内外部关联环境的感知和互联，并利用人工智能技术开展数据挖掘分析，支撑工业企业基于数据进行决策管控，提升企业决策管控的针对性和有效性。 3. 工业大数据人才缺乏，制约产业发展 工业大数据技术应用的关键是揭示各种典型工业应用场景下，各种数据的内在关联关系，因此工业大数据技术的应用者不但要掌握工业大数据的相关知识和工具，还需要深刻了解制造业典型的业务场景，并结合工业大数据的分析和可视化展示情况，结合业务场景进行合理解读，此外，还需要结合业务场景进行解决方案的制订和管理决策。以上工业大数据人才的要求将大大制约工业大数据产业发展的进程。 整体上，工业大数据对复合型人才的需求更强烈，目前我国工业大数据的高级管理决策人才、数据分析人才、平台架构人员、数据开发工程师、算法工程师等多个方向均存在较大缺口，极大地阻碍了工业大数据产业的发展。 第16章 工农业大数据和人工智能 433 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=450&limit=10)