奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 113 页

PDF 物理页索引 129 · 第3章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
113
PDF 物理页
129(从 0 开始)
章节
第3章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
aa86b9948cb3791b601a9acefb66a7a72d9b1dbf287a5dfdd78cde17a8792757

从技术视角看,大数据代表新一代数据管理与分析技术。传统的数据管理与分析技术以结构化数据为管理对象,在小数据集上进行分析,以集中式架构为主,成本高昂。与“贵族化”的数据分析技术相比,源于互联网、面向多源异构数据、在超大规模数据集(拍字节(PB)量级)上进行分析、以分布式架构为主的新一代数据管理技术,与开源软件潮流叠加,在大幅提高处理效率的同时(数据分析从T+1到T+0甚至实时),成百倍地降低了数据应用成本。

从理念视角看,大数据打开了一种全新的思维角度。其一是“数据驱动”,即经营管理决策可以自下而上地由数据来驱动,甚至像量化股票交易、实时竞价广告等场景中那样,可以由机器根据数据直接决策;其二是“数据闭环”,观察互联网行业大数据案例,它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”,从而不断地自我升级,螺旋上升。目前很多“大数据应用”,要么数据量不够大,要么并非必须使用新一代技术,但体现了数据驱动和数据闭环的思维,改进了生产管理效率,这是大数据思维理念应用的体现。

大数据本身既能形成新兴产业,也能推动其他产业发展。当前,国内外缺乏对大数据产业的公认界定。我们认为,大数据产业可以从狭义和广义两个层次界定。从狭义看,当前全球围绕大数据采集、存储、管理和挖掘,正在逐渐形成一个“小生态”,即大数据核心产业。大数据核心产业为全社会大数据应用提供数据资源、产品工具和应用服务,支撑各个领域的大数据应用,是大数据在各个领域应用的基石,如图3-19所示。应该注意到,狭义大数据产业仍然围绕信息的采集加工构建,属于信息产业的一部分。

数据资源部分负责原始数据的供给和交换,根据数据来源的不同,可以细分为数据资源提供者和数据交易平台两种角色。数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应,根据数据加工和价值提升的生产流程,数据基础能力部分主要包括数据存储、数据处理和数据库(数据管理)等多个角色。数据分析/可视化部分负责数据隐含价值的挖掘、数据关联分析和可视化展现等,既包括传统意义上的BI、可视化和通用数据分析工具,也包括面向非结构化数据提供的语音、图像等媒体识别服务。数据应用部分根据数据分析和加工的结果,面向电商、金融、交通、气象、安全等细分行业提供精准营销、信用评估、出行引导、信息防护等企业或公众服务。

第3章 数据

113