{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":391,"pdf_page":407,"physical_index":407,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"7ffc902bd285e3e57c82c6c973166321f3aed6c94b92477a22cfc15fcfc7a75e"},"chapter":"第12章","content":"12.2.8 偏差分析\n\n偏差是数据集中的小比例对象。通常，偏差对象被称为离群点、例外、野点、异常等。偏差分析就是发现与大部分其他对象不同的对象。偏差分析的应用：在企业危机管理及其预警中管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。而其成因源于不同的类、自然变异、数据测量或收集误差等。\n\n异常\n\nHawkins给出了异常的本质性的定义：异常是数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。\n\n●聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。\n\n●异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点，其行为与正常的行为有很大不同。\n\n12.3 大数据思维\n\n“数据驱动决策”，那么，在大数据挖掘时，我们应该具备什么样的大数据思维呢？\n\n12.3.1 信度与效度思维\n\n信度与效度的概念最早来源于调查分析，但现在我觉得可以引申到数据分析工作的各个方面。所谓“信度”，是指一个数据或指标自身的可靠程度，包括准确性和稳定性。取数逻辑是否正确，有没有计算错误，这属于准确性：每次计算的算法是否稳定，口径是否一致，以相同的方法计算不同的对象时，准确性是否有波动，这是稳定性。做到了以上两个方面，就是一个好的数据或指标了吗？其实还不够，还有一个更重要的因素，就是效度。所谓“效度”，是指一个数据或指标的生成需贴合它所要衡量的事物，即指标的变化能够代表该事物的变化。\n\n只有在信度和效度上都达标，才是一个有价值的数据指标。举个例子，要衡量身体的肥胖情况，选择穿衣的号码作为指标。一方面，相同的衣服尺码对应的实际衣服大小是不同的，会有美版、韩版等因素，使得准确性很差；另一方面，一会儿穿这个牌子的衣服，一会儿穿那个牌子的衣服，使得该衡量方式形成的结果很不稳定。所以，衣服尺码这个指标的信度不够。另一方面，衡量身体肥胖情况用衣服的尺码大小？你一定觉得荒唐，尺码大小并不能反映肥胖情况，因此效度也不足。体脂率才是信度和效度都比较达标的肥胖衡量指标。\n\n信度和效度的本质其实就是“数据质量”的问题，这是一切分析的基石，再怎么重视都不过分。\n\n12.3.2 分类思维\n\n客户分群、产品归类、市场分级、绩效评价等许多事情都需要有分类的思维。主管拍脑袋可以分类，通过机器学习算法也可以分类，那么许多人就模糊了，到底分类思维怎么应用呢？关键点在于，分类后的事物需要在核心指标上能拉开距离，也就是说分类后的结果必须是显著的。如图12-1所示，横轴和纵轴往往是运营中关注的核心指标（当然不限于二维），对于分类后的对象，能够看到它们的分布不是随机的，而是有显著的集群的倾向。举个例子，假设图12-1反映了某个消费者分群的结果，横轴代表购买频率，纵轴代表客单价，那么绿色的这群人（右上角）就是明显的“人傻钱多”的“剁手金牌客户”。\n\n第12章 数据挖掘\n\n391","previous_page":390,"next_page":392}