我们先来看一个数据分析的例子,如表4-1所示。
对比上述三组数据,我们会发现B组的得分显著高于A组和对照组。通过建立统计学模型,我们会得出B组的得分显著高于A组的结论,于是证明药物B更加有效。根据已知信息进行分析总结,得出有意义的结论,就是一般数据分析要做的工作。
人们通常所说的数据分析是对小规模数据而言的,而当我们需要处理大规模数据时,往往会用大数据分析这个说法。大数据分析和数据分析相比,主要是数据量的区别以及因此而带来的运算模式和方法上的差异。大数据分析通常需要依赖多台计算机和分布式系统架构进行计算。除去这一点,大数据分析在目标上和数据分析是大致相同的。大数据分析与数据挖掘、机器学习的概念也更接近一些,因为数据挖掘和机器学习几乎都是建立在大数据基础上的。
相比数据分析,数据挖掘要做的事情更深入,跟机器学习的意义也更为贴近。数据挖掘不仅是对数据进行分析总结,还要“挖掘”表层所看不到的信息。从概念上来说,二者既有交叉,又有区别。数据挖掘的范围更大,是指从数据中获得有价值的信息。数据挖掘经常会通过机器学习来完成。事实上,两者的区别我们只需从字面上理解即可。数据挖掘侧重于“挖掘”二字,是从海量数据中发现和提取有用信息的过程。这里所谓有用的信息,可以是任何具有指导意义、在商业环境中能够帮助人们进行决策的信息。
数据挖掘的一个经典案例是“啤酒和尿布”的故事。在20世纪90年代,美国沃尔玛超市的管理人员从销售数据中发现了一个有趣的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品经常会出现在同一个购物篮中。经过后续分析发现,同时购买这两种商品的顾客通常是年轻的父亲。这样问题得到了解释:在美国有婴儿的家庭中,母亲一般在家中照看婴儿,而去超市买尿布的任务通常会落在父亲身上。父亲在购买尿布的同时,往往会顺便为自己购买啤酒。因此,啤酒和尿布竟然成为“会经常同时购买”的商品。这样一来,沃尔玛想出了一个点子,将啤酒和尿布尝试摆放在同一个货架区域,从而让年轻父亲能够在找到尿布的同时发现啤酒,从而大大提升了两种商品的购买率,最终为超市带来了更高的营业收入。通过数据挖掘,沃尔玛员工给公司挖掘出了商业价值。这就是数据挖掘的魅力所在。
反观机器学习,从机器学习的定义来说,它最终落在“预测”两个字上,由此可见,通常机器学习是基于预测未知信息给人们带来决策上的收益的。但数据挖掘则不限于如此。发现数据的规律后不一定要跟着做预测,一条有价值的总结性信息可以直接帮助人们进行决断。
机器学习、数据挖掘、数据分析、大数据分析的相同点总结如下:
人工智能与大数据技术导论
138