深度学习是近年来机器学习领域最令人瞩目的方向。自2006年深度学习界泰斗GeoffreyHinton在《Science》杂志上发表DeepBeliefNetworks的论文后,激活了神经网络的研究,开启了深度神经网络的新时代。学术界和工业界对深度学习热情高涨,并逐渐在语音识别、图像识别、自然语言处理等领域获得突破性进展,深度学习在语音识别领域的准确率获得了20%\~30%的提升,突破了近十年的瓶颈。2012年,图像识别领域在ImageNet图像分类竞赛中取得了85%的Top5准确率,相比前一年74%的准确率有里程碑式的提升,并进一步在2013年将准确率提高到了89%。目前,谷歌、Facebook、微软、IBM等国际巨头,以及国内的百度、阿里巴巴、腾讯等互联网巨头争相布局深度学习。由于神经网络算法的结构和流程特性非常适合大数据分布式处理平台进行计算,通过神经网络领域的各种分析算法的实现和应用,公司可以实现对多样化的分析,并在产品创新、客户服务、营销等方面取得创新性进展。
随着互联网与传统行业融合程度日益加深,对于Web数据的挖掘和分析成为需求分析和市场预测的重要手段。Web数据挖掘是一项综合性的技术,可以从文档结构和使用集合中发现隐藏的输入到输出的映射过程。目前研究和应用比较多的是PageRank算法。PageRank是Google算法的重要内容,于2001年9月被授予美国专利,以谷歌创始人之一拉里·佩奇命名。PageRank根据网站外部链接和内部链接的数量和质量衡量网站的价值。这个概念的灵感来自于学术研究中的一种现象,即一篇论文被引述的频率越高,一般会判断这篇论文的权威性和质量越高。在互联网场景中,每个到页面的链接都是对该页面的一次投票,被链接的越多,就意味着被其他网站投票越多。这就是所谓的链接流行度,可以衡量多少人愿意将他们的网站和你的网站挂钩。
需要指出的是,数据挖掘与分析的行业与企业特点强,除了一些最基本的数据分析工具外,目前还缺少针对性的、一般化的建模与分析工具。各个行业与企业需要根据自身业务构建特定的数据模型。数据分析模型构建的能力强弱成为不同企业在大数据竞争中取胜的关键。
3.7.3 重点行业的大数据应用
传统的数据应用主要集中在对业务数据的统计分析,作为系统或企业的辅助支撑,应用范围以系统内部或企业内部为主,例如各类统计报表、展示图表等。伴随着各种随身设备、物联网和云计算、云存储等技术的发展,数据内容和数据格式多样化,数据颗粒度也愈来愈细,随之出现了分布式存储、分布式计算、流处理等大数据技术,各行业基于多种甚至跨行业的数据源相互关联探索更多的应用场景,同时更注重面向个体的决策和应用的时效性。因此,大数据的数据形态、处理技术、应用形式构成了区别于传统数据应用的大数据应用。
一方面,大数据在各个领域的应用持续升温;另一方面,大数据的效益尚未充分验证。大多数的大数据系统尚处于早期部署阶段,因此它们的投资回报还未得到充分验证。大数据前景很美好,同时也可能存在“忽悠”出来的“泡沫”成分。整体来看,大数据应用尚处于从热点行业领域向传统领域渗透的阶段。中国信息通信研究院的调查显示,大数据应用水平较高的行业主要分布在互联网、电信、金融行业,一些传统行业的大数据应用发展较为缓慢。
第3章 数据
117