--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能与大数据技术导论" author: null edition: null publisher: null year: null isbn: "9787302517986" library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71" source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0" pdf_physical_page_count: 490 pdf_physical_page_index_base: 0 range_start: 400 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=400&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=400&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=390&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=410&limit=10" --- # 人工智能与大数据技术导论 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=400 | PRINTED_PAGE=384 2. 知识加工 通过实体对齐可以得到一系列基本事实表达或初步的本体雏形，然而事实并不等于知识，它只是知识的基本单位。要形成高质量的知识，还需要经过知识加工的过程，从层次上形成一个大规模的知识体系，统一对知识进行管理。知识加工主要包括本体构建与质量评估两方面的内容。 11.3 知识计算及应用 知识计算主要是根据图谱提供的信息得到更多隐含的知识，如通过本体或者规则推理技术可以获取数据中存在的隐含知识，而链接预测则可以预测实体间隐含的关系，同时使用社会计算的不同算法在知识网络上计算获取知识图谱上存在的社区，提供知识间关联的路径，通过不一致检测技术发现数据中的噪声和缺陷。通过知识计算知识图谱可以产生大量的智能应用，如可以提供精确的用户画像为精准营销系统提供潜在的客户；提供领域知识给专家系统提供决策数据，给律师、医生、公司CEO等提供辅助决策的意见；提供更智能的检索方式，使用户可以通过自然语言进行搜索；当然，知识图谱也是问答必不可少的重要组件。 11.4 企业知识图谱建设 有些用户倾向于把知识图谱简单化理解，或者等同于传统的专家库，或者认为就是知识可视化的炫酷界面。知识图谱的技术本质是高效的知识结构化和图分析能力。与传统知识库相比，知识图谱在知识构建部分除了利用专家人工力量外，还利用文本挖掘和自然语言处理等手段，也有可能使用机器学习算法构建本体，以及从大量的非结构化和半结构化数据中抽取知识。在人、企业、产品、兴趣、想法、事实存在交织的关联关系时，使用图分析这些复杂的关系效率高，可扩展。应用图遍历、最短路径、三角计数、连通分量、类中心等算法在搜寻目标实体、识别实体关联、评价关联程度、发现关键人物和特殊关系群体等方面较为有效。 从企业级信息管理的全局视角看，知识图谱无疑也是其中一种方式和手段，其中的技术组件如文本分析、语义计算等部分和传统的数据采集、清洗、整合在数据的处理方法和流程上很多都是类似的，在技术上也有互通或重合的部分。从企业级数据建设和应用的角度来看，知识图谱的建设横跨多个环节，在技术的整合方面有较高的复杂度，因此要求一定的数据基础和数据技术能力基础，比如持续的数据管理和知识管理机制、较好的基础数据质量、对数据技术能力和团队的积累等。 我们认为，在知识图谱走向行业应用的时代，可能在落地的时候不会采用从零开始建设知识图谱全技术栈的重方式，很多环节（比如图谱可视化、自然语言处理、语义计算等方面）都会出现比较成熟的技术组件，然后结合业务进行深度定制和调优。因此，我们也很有必要透过技术栈去抓住知识图谱的技术本质，一个是知识结构化，另一个是图分析，知识图谱用新的技术在这两方面提升效率。抓住了技术本质，用户方可以避免纠结于概念或技术的分歧，技术提供方则可以避免陷入同质化竞争的局面。表11-1总结了几个知识图谱库。 人工智能与大数据技术导论 384 ## PDF_PHYSICAL_PAGE_INDEX=401 | PRINTED_PAGE=385 知识图谱是知识工程的一个分支，以知识工程中的语义网络作为理论基础，并且结合了机器学习、自然语言处理、知识表示和推理的最新成果，在大数据的推动下受到了业界和学术界的广泛关注。知识图谱对于解决大数据中的文本分析和图像理解问题发挥着重要作用。目前，知识图谱研究已经取得了很多成果，形成了一些开放的知识图谱。但是，知识图谱的发展还存在以下障碍。首先，虽然大数据时代已经产生了海量的数据，但是数据发布缺乏规范，而且数据质量不高，从这些数据中挖掘高质量的知识需要处理数据噪音问题；其次，垂直领域的知识图谱构建缺乏自然语言处理方面的资源，特别是词典的匮乏使得垂直领域知识图谱构建代价很大；最后，知识图谱构建缺乏开源的工具，目前很多研究工作都不具备实用性，而且很少有工具发布。通用的知识图谱构建平台还很难实现。 第11章 知识图谱 385 ## PDF_PHYSICAL_PAGE_INDEX=402 | PRINTED_PAGE=386 人工智能与大数据技术导论 386 ## PDF_PHYSICAL_PAGE_INDEX=403 | PRINTED_PAGE=NOT_DETECTED 第12章 数据挖掘 12.1 什么是数据挖掘 数据挖掘是指有组织、有目的地收集数据、分析数据，并从大量数据中提取出有用的信息，从而寻找出数据中存在的规律、规则、知识以及模式、关联、变化、异常和有意义的结构。数据挖掘是一种从大量数据中寻找存在的规律、规则、知识以及模式、关联、变化、异常和有意义的结构的技术，是统计学、数据库技术和人工智能技术等技术的综合。数据挖掘是一门涉及面很广的交叉学科，包括数理统计、人工智能、计算机等，涉及机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型、产生学术价值、促进生产、产生并促进商业利益，一切都是为了商业价值（数据→信息→知识→商业）。数据挖掘的最终目的是实现数据的价值，所以，单纯的数据挖掘是没有多大意义的。数据挖掘的作用是从大量数据中寻找存在的规律、规则、知识以及模式、关联、变化、异常和有意义的结构。 数据挖掘技术（方法）分为以下两大类。 ●预言（Predication）：用历史预测未来。 描述（Description）：了解数据中潜在的规律。 12.1.1 数据挖掘技术产生的背景 数据正在以空前的速度增长，现在的数据是海量的大数据。现在不缺乏数据，但是却面临一个尴尬的境地数据极其丰富，信息知识匮乏。还有，海量的大数据已经远远超出了人类的理解能力，如果不借助强大的工具和技术，很难弄清楚大数据中所蕴含的信息和知识。重要决策如果只是基于决策制定者的个人经验，而不是基于信息、知识丰富的数据，就极大地浪费了数据，也给我们的商业、学习、工作、生产带来了极大的不便和巨大的阻碍。所以，能够方便、高效、快速地从大数据里提取出巨大的信息和知识是必须解决的，因此，数据挖掘技术应运而生。数据挖掘填补了数据和信息、知识之间的鸿沟。 12.1.2 数据挖掘与数据分析的区别 数据分析包含广义的数据分析和狭义的数据分析。广义的数据分析包括狭义的数据分析和 ## PDF_PHYSICAL_PAGE_INDEX=404 | PRINTED_PAGE=388 数据挖掘，而我们常说的数据分析就是指狭义的数据分析。 1. 数据分析（狭义） 简单来说，狭义的数据分析就是对数据进行分析。专业的说法是，狭义的数据分析是指根据分析目的，用适当的统计分析方法及工具对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。狭义的数据分析主要实现三大作用：现状分析、原因分析和预测分析（定量）。狭义的数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论。狭义的数据分析主要采用对比分析、分组分析、交叉分析、回归分析等分析方法。狭义的数据分析一般都是得到一个指标统计量结果，比如总和、平均值等，这些指标数据需要与业务结合进行解读，才能发挥出数据的价值与作用。 2. 数据挖掘 数据挖掘是指从大量的数据中，通过统计学、人工智能、机器学习等方法挖掘出未知的、具有价值的信息和知识的过程。数据挖掘主要侧重解决4类问题，即分类、聚类、关联和预测（定量、定性）。数据挖掘的重点在于寻找未知的模式与规律。比如，我们常说的数据挖掘案例：啤酒与尿布、安全套与巧克力等，就是事先未知的，但又是非常有价值的信息。数据挖掘主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘。数据挖掘的结果是输出模型或规则，并且可相应得到模型得分或标签，模型得分如流失概率值、总和得分、相似度、预测值等，标签如高中低价值用户、流失与非流失、信用优良中差等。 总之，数据分析（狭义）与数据挖掘的本质是一样的，都是从数据里面发现关于业务的知识（有价值的信息），从而帮助业务运营、改进产品以及帮助企业做更好的决策。数据分析（狭义）与数据挖掘构成广义的数据分析。 12.2 数据挖掘技术（方法） 数据挖掘常用的方法有分类、聚类、回归分析、关联规则、神经网络、特征分析、偏差分析等。这些方法从不同的角度对数据进行挖掘。 12.2.1 分类 分类的含义就是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。分类是依靠给定的类别对对象进行划分的。分类的目的是通过分类模型将数据库中的数据项映射到某个给定的类别中。分类的应用包括客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等。 主要的分类方法包括决策树、KNN法（K-NearestNeighbor）、SVM法、VSM法、Bayes法、神经网络等。分类算法是有局限性的。分类作为一种监督式学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果要通过预处理使得数据满足分类算法的要求，那么代价非常大，这时候可以考虑使用聚类算法。 人工智能与大数据技术导论 388 ## PDF_PHYSICAL_PAGE_INDEX=405 | PRINTED_PAGE=389 12.2.2 聚类 聚类的含义是指事先并不知道任何样本的类别标号，按照对象的相似性和差异性，把一组对象划分成若干类，并且每个类里面对象之间的相似度较高，不同类里面对象之间的相似度较低或差异明显。我们并不关心某一类是什么，需要实现的目标只是把相似的东西聚到一起，聚类是一种无监督式学习方法。 聚类与分类的区别是，聚类类似于分类，但是与分类不同的是，聚类不依靠给定的类别对对象进行划分，而是根据数据的相似性和差异性将一组数据分为几个类别。聚类与分类的目的不同。聚类要按照对象的相似性和差异性将对象进行分类，属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。组内的相似性越大，组间差别越大，聚类就越好。 主要的聚类算法可以划分5类，即划分方法、层次方法、基于密度的方法、基于网格的方法和基于模型的方法。每一类中都存在得到广泛应用的算法，划分方法中有K-Means聚类算法，层次方法中有凝聚型层次聚类算法，基于模型的方法中有神经网络聚类算法。聚类可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。 12.2.3 回归分析 回归分析是一个统计预测模型，用以描述和评估因变量与一个或多个自变量之间的关系。它反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系。回归分析反映了数据库中数据的属性值在时间上的特征，通过函数表达数据映射的关系来发现属性值之间的依赖关系。回归分析方法被广泛地用于解释市场占有率、销售额、品牌偏好及市场营销效果。它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。 回归分析的主要研究问题包括数据序列的趋势特征、数据序列的预测、数据间的相关关系等。 12.2.4 关联规则 关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则是描述数据库中数据项之间所存在的关系的规则。关联规则的目的(作用)是发现隐藏在数据间的关联或相互关系，从一件事情的发生来推测另一件事情的发生，从而更好地了解和掌握事物的发展规律等。 关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组：第二阶段为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中，用以预测客户的需求，各银行在自己的ATM机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 第12章 数据挖掘 389 ## PDF_PHYSICAL_PAGE_INDEX=406 | PRINTED_PAGE=390 12.2.5 神经网络方法 神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性，非常适合处理非线性的问题，以及那些以模糊、不完整、不严密的知识或数据为特征的问题，这一特点十分适合解决数据挖掘的问题。 典型的神经网络模型主要分为三大类：第一类是用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机；第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield的离散模型和连续模型为代表；第三类是用于聚类的自组织映射方法，以ART模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用哪种模型及算法没有统一的规则，而且人们很难理解网络的学习及决策过程。 12.2.6 Web 数据挖掘 Web数据挖掘是一项综合性技术，指从Web文档结构和使用的集合C中发现隐含的模式P，如果将C看作输入，将P看作输出，那么Web挖掘过程就可以看作是从输入到输出的一个映射过程。Web数据挖掘的研究对象是以半结构化和无结构文档为中心的Web，这些数据没有统一的模式，数据的内容和表示互相交织，数据内容基本上没有语义信息进行描述，仅仅依靠HTML语法对数据进行结构上的描述。当前，越来越多的Web数据以数据流的形式出现，因此对Web数据流挖掘具有很重要的意义。 目前，常用的Web数据挖掘算法包括PageRank算法、HITS算法、LOGSOM算法。这三种算法提到的用户都是笼统的用户，并没有区分用户的个体。 Web数据挖掘应用得很广泛。它可以利用Web的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。 目前，Web数据挖掘面临着一些问题：用户的分类问题、网站内容时效性问题、用户在页面的停留时间问题、页面的链入与链出数问题等。 12.2.7 特征分析 特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。特征分析的目的（作用）在于从海量数据中提取出有用信息，从而提高数据的使用效率。 特征分析的应用：营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。 人工智能与大数据技术导论 390 ## PDF_PHYSICAL_PAGE_INDEX=407 | PRINTED_PAGE=391 12.2.8 偏差分析 偏差是数据集中的小比例对象。通常，偏差对象被称为离群点、例外、野点、异常等。偏差分析就是发现与大部分其他对象不同的对象。偏差分析的应用：在企业危机管理及其预警中管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。而其成因源于不同的类、自然变异、数据测量或收集误差等。 异常 Hawkins给出了异常的本质性的定义：异常是数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。 ●聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。 ●异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点，其行为与正常的行为有很大不同。 12.3 大数据思维 “数据驱动决策”，那么，在大数据挖掘时，我们应该具备什么样的大数据思维呢？ 12.3.1 信度与效度思维 信度与效度的概念最早来源于调查分析，但现在我觉得可以引申到数据分析工作的各个方面。所谓“信度”，是指一个数据或指标自身的可靠程度，包括准确性和稳定性。取数逻辑是否正确，有没有计算错误，这属于准确性：每次计算的算法是否稳定，口径是否一致，以相同的方法计算不同的对象时，准确性是否有波动，这是稳定性。做到了以上两个方面，就是一个好的数据或指标了吗？其实还不够，还有一个更重要的因素，就是效度。所谓“效度”，是指一个数据或指标的生成需贴合它所要衡量的事物，即指标的变化能够代表该事物的变化。 只有在信度和效度上都达标，才是一个有价值的数据指标。举个例子，要衡量身体的肥胖情况，选择穿衣的号码作为指标。一方面，相同的衣服尺码对应的实际衣服大小是不同的，会有美版、韩版等因素，使得准确性很差；另一方面，一会儿穿这个牌子的衣服，一会儿穿那个牌子的衣服，使得该衡量方式形成的结果很不稳定。所以，衣服尺码这个指标的信度不够。另一方面，衡量身体肥胖情况用衣服的尺码大小？你一定觉得荒唐，尺码大小并不能反映肥胖情况，因此效度也不足。体脂率才是信度和效度都比较达标的肥胖衡量指标。 信度和效度的本质其实就是“数据质量”的问题，这是一切分析的基石，再怎么重视都不过分。 12.3.2 分类思维 客户分群、产品归类、市场分级、绩效评价等许多事情都需要有分类的思维。主管拍脑袋可以分类，通过机器学习算法也可以分类，那么许多人就模糊了，到底分类思维怎么应用呢？关键点在于，分类后的事物需要在核心指标上能拉开距离，也就是说分类后的结果必须是显著的。如图12-1所示，横轴和纵轴往往是运营中关注的核心指标（当然不限于二维），对于分类后的对象，能够看到它们的分布不是随机的，而是有显著的集群的倾向。举个例子，假设图12-1反映了某个消费者分群的结果，横轴代表购买频率，纵轴代表客单价，那么绿色的这群人（右上角）就是明显的“人傻钱多”的“剁手金牌客户”。 第12章 数据挖掘 391 ## PDF_PHYSICAL_PAGE_INDEX=408 | PRINTED_PAGE=392 12.3.3 漏斗思维 漏斗思维（见图12-2）已经普及，注册转化、购买流程、销售管道、浏览路径等太多的分析场景中能找到这种思维的影子。但是，看上去越是普世(所有人都认同）越是容易理解的模型，它的应用越得谨慎和小心。在漏斗思维中，我们尤其要注意“漏斗的长度”。 漏斗从哪里开始，到哪里结束？以我们的经验，漏斗的环节不该超过5个，且漏斗中各个环节的百分比数值的量级不要超过100倍（漏斗第一环节以100%开始，到最后一个环节的转化率数值不要低于1%）。若超过了这两个数值标准，建议分为多个漏斗进行观察。超过5个环节，往往会出现多个重点环节，在一个漏斗模型中分析多个重要问题容易产生混乱。数值量级差距过大，数值间波动的相互关系很难被察觉，容易遗漏信息。比如，漏斗前面的环节从60%变到50%，让你感觉是天大的事情，而漏斗最后的环节0.1%的变动不能引起你的注意，可往往漏斗最后这0.1%的变动是非常致命的。 12.3.4 逻辑树思维 如图12-3所示为树状逻辑。一般说明逻辑树的分叉时，都会提到“分解”和“汇总”的概念。在这里可以把它变一变，使其更贴近数据分析，称为“下钻”和“上卷”。所谓下钻，就是在分析指标的变化时，按一定的维度不断地分解。比如，按地区维度，从大区到省份，从省份到城市，从省市到区。所谓上卷，就是反过来。随着维度的下钻和上卷，数据会不断细分和汇总，在这个过程中，我们往往能找到问题的根源。 人工智能与大数据技术导论 392 ## PDF_PHYSICAL_PAGE_INDEX=409 | PRINTED_PAGE=393 下钻和上卷并不局限于一个维度，往往是多维组合的节点进行分叉。逻辑树引申到算法领域就是决策树，关键是何时做出决策（判断）。当进行分叉时，我们往往会选择差别最大的一个维度进行拆分，若差别不够大，则这个枝权就不再细分。能够产生显著差别的节点会被保留，并继续细分，直到分不出差别为止。经过这个过程，我们就能找出影响指标变化的因素。 举个简单的例子，我们发现全国客户数量下降了，从地区和客户年龄层级两个维度先进行观察，发现各个年龄段的客户数量都下降了，而地区间有的下降有的升高，那么就按地区来拆分第一个逻辑树节点，拆分到大区后，发现各省间的差别显著，就继续拆分到城市，最终发现是浙江省杭州市大量客户（涵盖各个年龄段）被竞争对手的一波推广活动转化走了。因此，通过三个层级的逻辑树找到了原因。 12.3.5 时间序列思维 很多问题，我们找不到横向对比的方法和对象，那么，和历史上的状况比，就将变得非常重要。其实很多时候，我们更愿意用时间维度的对比来分析问题，毕竟发展地看问题也是重要的一环。时间序列的思维有三个关键点：一是“距今越近的时间点，越要重视”（图12-4中的深浅度，越是近期发生的事，越有可能再次发生）：二是要做“同比”（图12-4中的箭头指示，指标往往存在某些周期性，需要在周期中的同一阶段进行对比才有意义）；三是“异常值出现时，需要重视”（比如出现了历史最低值或历史最高值，建议在时间序列作图时，添加平均值线和平均值加减一倍或两倍标准差线，便于观察异常值）。 时间序列思维有一个子概念不得不提一下，就是“生命周期”的概念。用户、产品、人事等无不有生命周期存在。清楚地衡量生命周期，就能很方便地确定一些“阀值”问题，使产品和运营的节奏更明确。 12.3.6 指数化思维 指数化思维是指将衡量一个问题的多个因素分别量化后，组合成一个综合指数（降维）来持续追踪的方式。这是最重要的一个思维。许多管理者面临的问题是“数据太多，可用的太少”，这就需要“降维”了，即把多个指标压缩为单个指标。指数化的好处非常明显，一是“减少了指标，使得管理者精力更为集中”；二是“指数化的指标往往提高了数据的信度和效度”；三是“指数能长期使用且便于理解”。 第12章 数据挖掘 393 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=410&limit=10)