数据挖掘,而我们常说的数据分析就是指狭义的数据分析。
- 数据分析(狭义)
简单来说,狭义的数据分析就是对数据进行分析。专业的说法是,狭义的数据分析是指根据分析目的,用适当的统计分析方法及工具对收集来的数据进行处理与分析,提取有价值的信息,发挥数据的作用。狭义的数据分析主要实现三大作用:现状分析、原因分析和预测分析(定量)。狭义的数据分析的目标明确,先做假设,然后通过数据分析来验证假设是否正确,从而得到相应的结论。狭义的数据分析主要采用对比分析、分组分析、交叉分析、回归分析等分析方法。狭义的数据分析一般都是得到一个指标统计量结果,比如总和、平均值等,这些指标数据需要与业务结合进行解读,才能发挥出数据的价值与作用。
- 数据挖掘
数据挖掘是指从大量的数据中,通过统计学、人工智能、机器学习等方法挖掘出未知的、具有价值的信息和知识的过程。数据挖掘主要侧重解决4类问题,即分类、聚类、关联和预测(定量、定性)。数据挖掘的重点在于寻找未知的模式与规律。比如,我们常说的数据挖掘案例:啤酒与尿布、安全套与巧克力等,就是事先未知的,但又是非常有价值的信息。数据挖掘主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘。数据挖掘的结果是输出模型或规则,并且可相应得到模型得分或标签,模型得分如流失概率值、总和得分、相似度、预测值等,标签如高中低价值用户、流失与非流失、信用优良中差等。
总之,数据分析(狭义)与数据挖掘的本质是一样的,都是从数据里面发现关于业务的知识(有价值的信息),从而帮助业务运营、改进产品以及帮助企业做更好的决策。数据分析(狭义)与数据挖掘构成广义的数据分析。
12.2 数据挖掘技术(方法)
数据挖掘常用的方法有分类、聚类、回归分析、关联规则、神经网络、特征分析、偏差分析等。这些方法从不同的角度对数据进行挖掘。
12.2.1 分类
分类的含义就是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。分类是依靠给定的类别对对象进行划分的。分类的目的是通过分类模型将数据库中的数据项映射到某个给定的类别中。分类的应用包括客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等。
主要的分类方法包括决策树、KNN法(K-NearestNeighbor)、SVM法、VSM法、Bayes法、神经网络等。分类算法是有局限性的。分类作为一种监督式学习方法,要求必须事先明确知道各个类别的信息,并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足,尤其是在处理海量数据的时候,如果要通过预处理使得数据满足分类算法的要求,那么代价非常大,这时候可以考虑使用聚类算法。
人工智能与大数据技术导论
388