12.2.8 偏差分析
偏差是数据集中的小比例对象。通常，偏差对象被称为离群点、例外、野点、异常等。偏差分析就是发现与大部分其他对象不同的对象。偏差分析的应用：在企业危机管理及其预警中管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。而其成因源于不同的类、自然变异、数据测量或收集误差等。
异常
Hawkins给出了异常的本质性的定义：异常是数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。
●聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。
●异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点，其行为与正常的行为有很大不同。
12.3 大数据思维
“数据驱动决策”，那么，在大数据挖掘时，我们应该具备什么样的大数据思维呢？
12.3.1 信度与效度思维
信度与效度的概念最早来源于调查分析，但现在我觉得可以引申到数据分析工作的各个方面。所谓“信度”，是指一个数据或指标自身的可靠程度，包括准确性和稳定性。取数逻辑是否正确，有没有计算错误，这属于准确性：每次计算的算法是否稳定，口径是否一致，以相同的方法计算不同的对象时，准确性是否有波动，这是稳定性。做到了以上两个方面，就是一个好的数据或指标了吗？其实还不够，还有一个更重要的因素，就是效度。所谓“效度”，是指一个数据或指标的生成需贴合它所要衡量的事物，即指标的变化能够代表该事物的变化。
只有在信度和效度上都达标，才是一个有价值的数据指标。举个例子，要衡量身体的肥胖情况，选择穿衣的号码作为指标。一方面，相同的衣服尺码对应的实际衣服大小是不同的，会有美版、韩版等因素，使得准确性很差；另一方面，一会儿穿这个牌子的衣服，一会儿穿那个牌子的衣服，使得该衡量方式形成的结果很不稳定。所以，衣服尺码这个指标的信度不够。另一方面，衡量身体肥胖情况用衣服的尺码大小？你一定觉得荒唐，尺码大小并不能反映肥胖情况，因此效度也不足。体脂率才是信度和效度都比较达标的肥胖衡量指标。
信度和效度的本质其实就是“数据质量”的问题，这是一切分析的基石，再怎么重视都不过分。
12.3.2 分类思维
客户分群、产品归类、市场分级、绩效评价等许多事情都需要有分类的思维。主管拍脑袋可以分类，通过机器学习算法也可以分类，那么许多人就模糊了，到底分类思维怎么应用呢？关键点在于，分类后的事物需要在核心指标上能拉开距离，也就是说分类后的结果必须是显著的。如图12-1所示，横轴和纵轴往往是运营中关注的核心指标（当然不限于二维），对于分类后的对象，能够看到它们的分布不是随机的，而是有显著的集群的倾向。举个例子，假设图12-1反映了某个消费者分群的结果，横轴代表购买频率，纵轴代表客单价，那么绿色的这群人（右上角）就是明显的“人傻钱多”的“剁手金牌客户”。
第12章 数据挖掘
391