3.深度神经网络等新兴技术开辟大数据分析技术的新时代
数据分析技术一般分为联机分析处理和数据挖掘两大类。OLAP技术一般基于用户的一系列假设，在多维数据集上进行交互式的数据集查询、关联等操作来验证这些假设，代表了演绎推理的思想方法。
数据挖掘技术一般是在海量数据中主动寻找模型，自动发展隐藏在数据中的模式，代表了归纳的思想方法。传统的数据挖掘算法主要有以下几种。
（1）聚类，又称群分析，是研究（样品或指标）分类问题的一种统计分析方法，针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间的数据的相似性很小，跨类的数据关联性很低。企业通过使用聚类分析算法可以进行客户分群，在不明确客户群行为特征的情况下对客户数据从不同维度进行分群，再对分群客户进行特征提取和分析，从而抓住客户的特点推荐相应的产品和服务。
(2）分类，类似于聚类，但是目的不同，分类可以使用聚类预先生成的模型，也可以通过经验数据找出一组数据对象的共同点，将数据划分成不同的类，其目的是通过分类模型将数据项映射到某个给定的类别中，代表算法是CART（分类与回归树）。企业可以将用户、产品、服务等各业务数据进行分类，构建分类模型，再对新的数据进行预测分析，使之归于已有类中。分类算法比较成熟，分类准确率也比较高，对于客户的精准定位、营销和服务有着非常好的预测能力，帮助企业进行决策。
(3)回归，反映了数据的属性值的特征，通过函数表达数据映射的关系来发现属性值之间的一览关系。它可以应用到对数据序列的预测和相关关系的研究中。企业可以利用回归模型对市场销售情况进行分析和预测，及时做出对应策略的调整。在风险防范、反欺诈等方面也可以通过回归模型进行预警。
传统的数据分析方法，无论是传统的OLAP技术还是数据挖掘技术，都难以应付大数据的挑战。首先是执行效率低。传统数据挖掘技术都是基于集中式的底层软件架构开发的，难以并行化，因而在处理太字节（TB）级以上的数据时效率低。其次是数据分析精度难以随着数据量的提升而得到改进，特别是难以应对非结构化数据。在人类全部数字化的数据中，仅有非常小的一部分（约占总数据量的1%）数值型数据得到了深入分析和挖掘（如回归、分类、聚类），大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析，占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。
所以，大数据分析技术的发展需要在两个方面取得突破，一是对体量庞大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识，如从自然语言构成的文本网页中理解和识别语义、情感、意图等；二是对非结构化数据进行分析，将海量复杂多源的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息，进而从中提取有用的知识。目前来看，以深度神经网络等新兴技术为代表的大数据分析技术已经得到一定发展。
神经网络是一种先进的人工智能技术，具有自行处理、分布存储和高度容错等特性，非常适合处理非线性的以及模糊、不完整、不严密的知识或数据，十分适合解决大数据挖掘的问题。典型的神经网络模型主要分为三大类:第一类是用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机；第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART模型为代表。不过，虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。
人工智能与大数据技术导论
116