--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能与大数据技术导论" author: null edition: null publisher: null year: null isbn: "9787302517986" library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71" source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0" pdf_physical_page_count: 490 pdf_physical_page_index_base: 0 range_start: 390 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=390&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=390&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=380&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=400&limit=10" --- # 人工智能与大数据技术导论 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=390 | PRINTED_PAGE=374 在数据层之上，是知识图谱的核心，通常采用本体库来管理知识图谱的模式层。本体是结构化知识库的概念模板，通过本体库而形成的知识库不仅层次结构较强，并且冗余程度较小。 2. 知识图谱的体系架构 知识图谱的体系架构是指构建模式结构，如图11-2所示。其中，虚线框内的部分为知识图谱的构建过程，也包含知识图谱的更新过程。知识图谱的构建从最原始的数据(包括结构化、半结构化、非结构化数据）出发，采用一系列自动或者半自动的技术手段，从原始数据库和第三方数据库中提取知识事实，并将其存入知识库的数据层和模式层，这一过程包含信息抽取、知识表示、知识融合、知识推理4个过程，每一次更新迭代均包含这4个阶段。知识图谱主要有自顶向下（top-down）与自底向上（bottom-up）两种构建方式。自顶向下指的是先为知识图谱定义好本体与数据模式，再将实体加入知识库。该构建方式需要利用一些现有的结构化知识库作为其基础知识库，例如Freebase项目就是采用这种方式，它的绝大部分数据是从维基百科中得到的。自底向上指的是从一些开放链接数据中提取出实体，选择其中置信度较高的加入知识库，再构建顶层的本体模式。目前，大多数知识图谱都采用自底向上的方式进行构建，其中最典型就是谷歌 Google的 Knowledge Vault 和微软的 Satori知识库。现在也符合互联网数据内容知识产生的特点。 根据覆盖范围，知识图谱也可分为开放通用知识图谱和垂直行业知识图谱。开放通用知识图谱注重广度，强调融合更多的实体，较垂直行业知识图谱而言，其准确度不够高，并且受概念范围的影响，很难借助本体库对公理、规则以及约束条件的支持能力规范其实体、属性、实体间的关系等。通用知识图谱主要应用于智能搜索等领域。行业知识图谱通常需要依靠特定行业的数据来构建，具有特定的行业意义。行业知识图谱中，实体的属性与数据模式往往比较丰富，需要考虑到不同的业务场景与使用人员。下一小节介绍现在知名度较高的大规模知识库。 11.1.3 开放知识图谱 当前世界范围内知名的高质量大规模开放知识图谱包括DBpedia、Yago、Wikidata、BabelNet、ConceptNet 以及 Microsoft Concept Graph等。 人工智能与大数据技术导论 374 ## PDF_PHYSICAL_PAGE_INDEX=391 | PRINTED_PAGE=375 DBpedia是一个大规模的多语言百科知识图谱，可视为是维基百科的结构化版本。DBpedia使用固定的模式对维基百科中的实体信息进行抽取，包括abstract、infobox、category和pagelink等信息。DBpedia目前拥有127种语言的超过2800万个实体与数亿个RDF三元组，并且作为链接数据的核心，与许多其他数据集均存在实体映射关系。而根据抽样评测，DBpedia中RDF三元组的正确率达88%。DBpedia支持数据集的完全下载。 Yago是一个整合了维基百科与WordNet的大规模本体，首先制定一些固定的规则对维基百科中每个实体的infobox进行抽取，然后利用维基百科的category进行实体类别推断（TypeInference)，获得大量的实体与概念之间的IsA关系（如：“Elvis Presley”IsA“AmericanRockSingers”），最后将维基百科的category与 WordNet中的Synset（一个Synset 表示一个概念）进行映射，从而利用WordNet 严格定义的Taxonomy完成大规模本体的构建。随着时间的推移，Yago的开发人员为该本体中的RDF三元组增加了时间与空间信息，从而完成了Yago2的构建，又利用相同的方法对不同语言的维基百科进行抽取，完成了Yago3的构建。目前，Yago拥有10种语言，约459万个实体，2400万个Facts，Yago中Facts的正确率约为95%。Yago支持数据集的完全下载。 Wikidata是一个可以自由协作编辑的多语言百科知识库，由维基媒体基金会发起，期望将维基百科、维基文库、维基导游等项目中的结构化知识进行抽取、存储、关联。Wikidata中的每个实体存在多个不同语言的标签、别名、描述以及声明（statement），比如Wikidata会给出实体London的中文标签“伦敦”、中文描述“英国首都”以及一个关于London的声明的具体例子。London的一个声明由一个claim与一个reference组成，claim 包括 property:Population、value:8173900以及一些qualifiers（备注说明），而reference则表示一个claim的出处，可以为空值。Wikidata目前支持超过350种语言，拥有近2500万个实体及超过7000万的声明，并且目前Freebase正在往Wikidata上迁移，以进一步支持谷歌的语义搜索。Wikidata支持数据集的完全下载。 BabelNet是目前世界范围内最大的多语言百科同义词典，它本身可以视为一个由概念、实体、关系构成的语义网络（Semantic Network）。BabelNet 目前有超过1400万个词目，每个词目对应一个synset。每个synset包含所有表达相同含义的不同语言的同义词。比如，“中国”“中华人民共和国”“China”以及“people's republicof China”均存在于一个synset中。BabelNet 由WordNet 中的英文 synsets与维基百科页面进行映射，再利用维基百科中的跨语言页面链接以及翻译系统得到BabelNet的初始版本。目前，BabelNet又整合了Wikidata、GeoNames、OmegaWiki等多种资源，共拥有271个语言版本。BabelNet 中的错误来源主要在于维基百科与WordNet之间的映射，而映射目前的正确率大约在91%。关于数据集的使用，BabelNet目前支持HTTPAPI调用，而数据集的完全下载需要经过非商用的认证后才能完成。 ConceptNet是一个大规模的多语言常识知识库，其本质为一个以自然语言的方式描述人类常识的大型语义网络。ConceptNet 起源于一个众包项目OpenMindCommonSense，自1999年开始，通过文本抽取、众包、融合现有知识库中的常识知识以及设计一些游戏从而不断获取常识知识。ConceptNet中共拥有36种固定的关系，如IsA、UsedFor、CapableOf等。ConceptNet目前拥有304个语言的版本，共有超过390万个概念，2800万个声明（statements，语义网络中边的数量），正确率约为81%。另外，ConceptNet目前支持数据集的完全下载。 第11章 知识图谱 375 ## PDF_PHYSICAL_PAGE_INDEX=392 | PRINTED_PAGE=376 Microsoft Concept Graph 是一个大规模的英文 Taxonomy，其中主要包含的是概念间以及实例（等同于实体）概念间的IsA关系，其中并不区分instanceOf与subclassOf的关系。Microsoft ConceptGraph的前身是Probase，它过自动化地抽取自数十亿网页与搜索引擎查询记录，其中每一个IsA关系均附带一个概率值，即该知识库中的每个IsA关系不是绝对的，而是存在一个成立的概率值以支持各种应用，如短文本理解、基于Taxonomy的关键词搜索和万维网表格理解等。目前，Microsoft Concept Graph拥有约530万个概念、1250万个实例以及8500万个IsA关系（正确率约为92.8%）。关于数据集的使用，MicrosoftConcept Graph目前支持HTTPAPI调用，而数据集的完全下载需要经过非商用的认证后才能完成。 除了上述知识图谱外，中文目前可用的大规模开放知识图谱有Zhishi.me、Zhishi.schema与XLore等。Zhishi.me是第一份构建中文链接数据的工作，与DBpedia 类似，Zhishi,me首先指定固定的抽取规则，对百度百科、互动百科和中文维基百科中的实体信息进行抽取，包括abstract、infobox、category等信息；然后对源自不同百科的实体进行对齐，从而完成数据集的链接。目前，Zhishi.me中拥有约1000万个实体与12000万个RDF三元组，所有数据可以通过在线 SPARQLEndpoint查询得到。Zhishi.schema是一个大规模的中文模式（Schema）知识库，其本质是一个语义网络，其中包含三种概念间的关系，即equal、related与subClassOf关系。Zhishi.schema抽取自社交站点的分类目录(Category Taxonomy)及标签云（Tag Cloud)，目前拥有约40万个中文概念与150万RDF三元组，正确率约为84%，并支持数据集的完全下载。XLore是一个大型的中英文知识图谱，它旨在从各种不同的中英文在线百科中抽取RDF三元组，并建立中英文实体间的跨语言链接。目前，XLore大约有66万个概念，5万个属性，1000万个实体，所有数据可以通过在线SPARQLEndpoint查询得到。 中文开放知识图谱联盟（OpenKG）旨在推动中文知识图谱的开放与互联，推动知识图谱技术在中国的普及与应用，为中国人工智能的发展以及创新创业做出贡献。联盟已经搭建有OpenKG.CN技术平台，目前已有35家机构入驻，吸引了国内最著名的知识图谱资源的加入，如Zhishi.me、CN-DBPedia、PKUBase，并已经包含来自于常识、医疗、金融、城市、出行等15个类目的开放知识图谱。 11.1.4知识图谱在行业数据分析中的应用 1. 股票投研情报分析 通过知识图谱相关技术从招股书、年报、公司公告、券商研究报告、新闻等半结构化表格和非结构化文本数据中批量自动抽取公司的股东、子公司、供应商、客户、合作伙伴、竞争对手等信息，构建出公司的知识图谱。在某个宏观经济事件或者企业相关事件发生的时候，券商分析师、交易员、基金公司基金经理等投资研究人员可以通过此图谱做更深层次的分析和更好的投资决策，比如在美国限制向中兴通讯出口的消息发布之后，如果我们有中兴通讯的客户供应商、合作伙伴以及竞争对手的关系图谱，就能在中兴通讯停牌的情况下快速地筛选出受影响的国际、国内上市公司，从而挖掘投资机会或者进行投资组合风险控制。 人工智能与大数据技术导论 376 ## PDF_PHYSICAL_PAGE_INDEX=393 | PRINTED_PAGE=377 2. 公安情报分析 通过融合企业和个人银行资金交易明细、通话、出行、住宿、工商、税务等信息构建初步的“资金账户-人-公司”关联知识图谱。同时从案件描述、笔录等非结构化文本中抽取人（受害人、嫌疑人、报案人）、事、物、组织、卡号、时间、地点等信息，链接并补充到原有的知识图谱中，形成一个完整的证据链。辅助公安刑侦、经侦、银行进行案件线索侦查和挖掘同伙。比如银行和公安经侦监控资金账户，当有一段时间内有大量资金流动并集中到某个账户的时候，很可能是非法集资，系统触发预警。 3. 反欺诈情报分析 通过融合来自不同数据源的信息构成知识图谱，同时引入领域专家建立业务专家规则。我们通过数据不一致性检测，利用绘制出的知识图谱可以识别潜在的欺诈风险。比如借款人张xx和借款人吴xx填写信息为同事，但是两个人填写的公司名却不一样，以及同一个电话号码属于两个借款人，这些不一致性很可能有欺诈行为。 11.2 知识图谱构建的关键技术 人类知识来源于进化、经验、文化传承（可以简单理解为“零”手、一手和二手知识），因此人工智能终极算法的思路不外乎是对进化、人类经验的数学化模拟以及对知识本身的不断结构化。各家知识图谱厂商对于人工智能的流派总结大多都认同连接主义、行为主义、符号主义这些流派。其实，人工智能的本质就是模拟人类学习能力的各个方面，这里学习是广义的学习，也就是包含狭义的认知、交流、规划、推理等能力。 AlphaGoZERO让人工智能似乎完全走在了经验主义的路上。知识图谱不同于经验主义，是一种可知的、结构化的方法。实际上，结构化是企业信息管理或数据管理工作一直采用的方法，大数据建设做的是数据的结构化，而知识图谱向上走了一层，做的是知识的结构化。从另一个意义上，这两者也不是割裂的，知识由数据构成，企业数据平台和数据管理工作实际上是知识图谱技术应用的优势基础。 大规模知识库的构建与应用需要多种技术的支持。通过知识提取技术，可以从半结构化、非结构化和结构化数据库的数据中提取出实体、关系、属性等知识要素。知识表示则通过一定有效手段对知识要素进行表示，便于进一步处理使用。然后通过知识融合，可消除实体、关系、属性等指称项与事实对象之间的歧义，形成高质量的知识库。知识推理则是在已有的知识库基础上进一步挖掘隐含的知识，从而丰富、扩展知识库。分布式的知识表示形成的综合向量对知识库的构建、推理、融合以及应用均具有重要的意义。因此，知识图谱是一系列技术的组合，分成以下4个层次。 ●知识提取：文本分析和抽取技术。 ●知识融合：语义计算、数据整合和存储。 第11章 知识图谱 377 ## PDF_PHYSICAL_PAGE_INDEX=394 | PRINTED_PAGE=378 人工智能与大数据技术导论 ●知识加工：本体构建、分析推理。 ●知识呈现：图谱可视化、搜索。 11.2.1 知识提取 知识提取一方面是面向开放的链接数据，通常典型的输入是自然语言文本或者多媒体内容文档（图像或者视频）等。然后通过自动化或者半自动化的技术抽取出可用的知识单元，知识单元主要包括实体（概念的外延）、关系以及属性3个要素，并以此为基础，形成一系列高质量的事实表达，为上层模式层的构建奠定基础。 在处理非结构化数据方面，首先要对用户的非结构化数据提取正文。目前的互联网数据存在着大量的广告，正文提取技术希望有效地过滤广告而只保留用户关注的文本内容。当得到正文文本后，需要通过自然语言技术识别文章中的实体，实体识别通常有两种方法，一种是用户本身有一个知识库，可以使用实体链接将文章中可能的候选实体链接到用户的知识库上；另一种是当用户没有知识库时，需要使用命名实体识别技术识别文章中的实体。若文章中存在实体的别名或者简称，还需要构建实体间的同义词表，这样可以使不同实体具有相同的描述。在识别实体的过程中可能会用到分词、词性标注，在深度学习模型中需要用到分布式表达，如词向量。同时，为了得到不同粒度的知识，还可能需要提取文中的关键词、获取文章的潜在主题等。当用户获得实体后，则需要关注实体间的关系，我们称为实体关系识别，有些实体关系识别的方法会利用句法结构来帮助确定两个实体间的关系，因此在有些算法中会利用依存分析或者语义解析。如果用户不仅仅想获取实体间的关系，还想获取一个事件的详细内容，那么需要确定事件的触发词并获取事件相应描述的句子，同时识别事件描述句子中实体对应事件的角色。 在处理半结构化数据方面，主要的工作是通过包装器学习半结构化数据的抽取规则。由于半结构化数据具有大量的重复性结构，因此对数据进行少量的标注可以让机器学会一定的规则，进而在整个站点使用规则，对同类型或者符合某种关系的数据进行抽取。最后，当用户的数据存储在生产系统的数据库中时，需要通过ETL工具对用户生产系统下的数据进行重新组织、清洗、检测，最后得到符合用户使用目的的数据。 实体抽取 实体抽取也称为命名实体学习（named entitylearning）或命名实体识别（namedentityrecognition），指的是从原始数据资料中自动识别出命名实体。由于实体是知识图谱中最基本的元素，其抽取的完整性、准确率等将直接影响知识图谱构建的质量。因此，实体抽取是知识抽取中最为基础与关键的一步。我们可以将实体抽取的方法分为4种：基于百科站点或垂直站点抽取、基于规则与词典的抽取、基于统计机器学习的抽取以及面向开放域的抽取。基于百科站点或垂直站点抽取是一种很常规的提取方法；基于规则与词典的抽取通常需要为目标实体编写模板，然后在原始资料中进行匹配；基于统计机器学习的抽取主要是通过机器学习的方法对原始资料进行训练，然后利用训练好的模型识别实体；面向开放域的抽取将面向海量的Web资料。 378 ## PDF_PHYSICAL_PAGE_INDEX=395 | PRINTED_PAGE=379 (1）基于百科或垂直站点抽取 基于百科站点或垂直站点抽取这种方法是从百科类站点（如维基百科、百度百科、互动百科等）的标题和链接中抽取实体名。这种方法的优点是可以得到开放互联网中最常见的实体名，其缺点是对于中低频的覆盖率低。与一般性通用的网站相比，垂直类站点的实体抽取可以获取特定领域的实体。例如从豆瓣各频道（音乐、读书、电影等）获取各种实体列表。这种方法主要是基于爬虫技术来实现和获取的。基于百科类站点或垂直站点抽取是一种最常规和基本的方法。 (2)基于规则与词典的实体提取方法 早期的实体抽取是在限定文本领域、限定语义单元类型的条件下进行的，主要采用的是基于规则与词典的方法，例如使用已定义的规则抽取出文本中的人名、地名、组织机构名、特定时间等实体。后期出现了启发式算法与规则模板相结合的方法。然而，基于规则模板的方法不仅需要依靠大量的专家来编写规则或模板，覆盖的领域范围有限，而且很难适应数据变化的新需求。 （3）基于统计机器学习的实体抽取方法 鉴于基于规则与词典实体的局限性，为了更有可扩展性，相关研究人员将机器学习中的监督学习算法用于命名实体的抽取问题上。例如，利用KNN算法与条件随机场模型实现了对Twitter文本数据中实体的识别。单纯的监督式学习算法在性能上不仅受到训练集合的限制，并且算法的准确率不够理想。相关研究者认识到监督式学习算法的制约性后，尝试将监督式学习算法与规则相互结合，取得了一定的成果。例如，基于字典，使用最大熵算法在Medline论文摘要的GENIA数据集上进行了实体抽取实验，实验的准确率在70%以上。近年来，随着深度学习的兴起应用，基于深度学习的命名实体识别得到广泛应用。例如，使用一种基于双向LSTM深度神经网络和条件随机场的识别方法，在测试数据上取得最好的表现结果。 （4）面向开放域的实体抽取方法 针对如何从少量实体实例中自动发现容易区分的模式，进而扩展到海量文本，去给实体做分类与聚类的问题。例如，使用一种通过迭代方式扩展实体资料库的解决方案，其基本思想是通过少量的实体实例建立特征模型，再通过该模型应用于新的数据集得到新的命名实体。有人还使用了一种基于无监督式学习的开放域聚类算法，其基本思想是基于已知实体的语义特征去搜索日志中识别出命名的实体，然后进行聚类。 11.2.2 语义类抽取 语义类抽取是指从文本中自动抽取信息来构造语义类并建立实体和语义类的关联，作为实体层面上的规整和抽象。下面介绍一种行之有效的语义类抽取方法，包含三个模块：并列相似度计算、上下位关系提取以及语义类生成。 1. 并列相似度计算 并列相似度计算的结果是词和词之间的相似性信息，例如三元组（苹果，梨，s1）表示苹果和梨的相似度是s1。两个词有较高的并列相似度的条件是它们具有并列关系（同属于一个语义类），并且有较大的关联度。按照这样的标准，北京和上海具有较高的并列相似度，而北京和汽车的并列相似度很低(因为它们不属于同一个语义类）。对于海淀、朝阳、闵行三个市辖区来说，海淀和朝阳的并列相似度大于海淀和闵行的并列相似度（因为前两者的关联度更高）。 第11章 知识图谱 379 ## PDF_PHYSICAL_PAGE_INDEX=396 | PRINTED_PAGE=380 当前主流的并列相似度计算方法有分布相似度法（distributionalsimilarity）和模式匹配法(pattern matching)。分布相似度法基于哈里斯（Harris)的分布假设（distributional hypothesis)，即经常出现在类似的上下文环境中的两个词具有语义上的相似性。分布相似度法的实现分三个步骤：第一步，定义上下文；第二步，把每个词表示成一个特征向量，向量每一维代表一个不同的上下文，向量的值表示本词相对于上下文的权重；第三步，计算两个特征向量之间的相似度，将其作为它们所代表的词之间的相似度。模式匹配法的基本思路是把一些模式作用于源数据，得到一些词和词之间共同出现的信息，然后把这些信息聚集起来，生成单词之间的相似度。模式可以是手工定义的，也可以是根据一些种子数据而自动生成的。分布相似度法和模式匹配法都可以用来在数以百亿计的句子中或者数以十亿计的网页中抽取词的相似性信息。 2. 上下位关系提取 该模块从文档中抽取词的上下位关系信息，生成（下义词，上义词）数据对，例如（狗，动物）、（悉尼，城市）。提取上下位关系最简单的方法是解析百科类站点的分类信息（如维基百科的“分类”和百度百科的“开放分类”）。这种方法的主要缺点是，并不是所有的分类词条都代表上位词，例如百度百科中“狗”的开放分类“养殖”就不是其上位词；生成的关系图中没有权重信息，因此不能区分同一个实体所对应的不同上位词的重要性；覆盖率偏低，即很多上下位关系并没有包含在百科站点的分类信息中。在英文数据中，用Hearst模式和IsA模式进行模式匹配被认为是比较有效的上下位关系抽取方法。下面是这些模式的中文版本（其中NPC表示上位词，NP表示下位词）： 此外，一些网页表格中包含上下位关系信息，例如在带有表头的表格中，表头行的文本是其他行的上位词。 3. 语义类生成 该模块包括聚类和语义类标定两个子模块。聚类的结果决定了要生成哪些语义类以及每个语义类包含哪些实体，而语义类标定的任务是给一个语义类附加一个或者多个上位词作为其成员的公共上位词。此模块依赖于并列相似性和上下位关系信息来进行聚类和标定。有些研究工作只根据上下位关系图来生成语义类，但经验表明，并列相似性信息对于提高最终生成的语义类的精度和覆盖率都至关重要。 人工智能与大数据技术导论 380 ## PDF_PHYSICAL_PAGE_INDEX=397 | PRINTED_PAGE=381 11.2.3属性和属性值抽取 属性抽取的任务是为每个本体语义类构造属性列表（如城市的属性包括面积、人口、所在国家、地理位置等），而属性值抽取则是为一个语义类的实体附加属性值。属性和属性值的抽取能够形成完整实体概念的知识图谱维度。常见的属性和属性值抽取方法包括从百科类站点中提取、从垂直网站中进行包装器归纳、从网页表格中提取以及利用手工定义或自动生成的模式从句子和查询日志中提取。常见的语义类/实体的常见属性/属性值可以通过解析百科类站点中的半结构化信息（如维基百科的信息盒和百度百科的属性表格）而获得。尽管通过这种简单的手段能够得到高质量的属性，但同时需要采用其他方法来增加覆盖率（为语义类增加更多属性以及为更多的实体添加属性值）。 垂直网站（如电子产品网站、图书网站、电影网站、音乐网站）包含大量实体的属性信息。例如，图书介绍的网页中包含图书的作者、出版社、出版时间、评分等信息。通过基于一定规则模板建立，便可以从垂直站点中生成包装器（或称为模板），并根据包装器来提取属性信息。从包装器生成的自动化程度来看，这些方法可以分为手工法（手工编写包装器）、监督方法、半监督法以及无监督法。考虑到需要从大量不同的网站中提取信息，并且网站模板可能会更新等因素，无监督包装器归纳方法显得更加重要和现实。无监督包装器归纳的基本思路是利用对同一个网站下面多个网页的超文本标签树的对比来生成模板。简单来看，不同网页的公共部分往往对应于模板或者属性名，不同的部分则可能是属性值，而同一个网页中重复的标签块则预示着重复的记录。 属性抽取的另一个信息源是网页表格。表格的内容对于人来说一目了然，而对于机器而言，情况则要复杂得多。由于表格类型千差万别，很多表格制作得不规则，加上机器缺乏人所具有的背景知识等原因，从网页表格中提取高质量的属性信息成为挑战。 上述三种方法的共同点是通过挖掘原始数据中的半结构化信息来获取属性和属性值。与通过“阅读”句子来进行信息抽取的方法相比，这些方法绕开了自然语言理解这样一个“硬骨头”，而试图达到以柔克刚的效果。在现阶段，计算机知识库中的大多数属性值确实是通过上述方法获得的。但现实情况是只有一部分的人类知识是以半结构化形式体现的，而更多的知识则隐藏在自然语言句子中，因此直接从句子中抽取信息成为进一步提高知识库覆盖率的关键。当前，从句子和查询日志中提取属性和属性值的基本手段是模式匹配和对自然语言的浅层处理。整个方法是一个在句子中进行模式匹配而生成（语义类，属性）关系图的无监督的知识提取过程。此过程分两个步骤，第一个步骤通过将输入的模式作用到句子上而生成一些（词，属性）元组，这些数据元组在第二个步骤中根据语义类进行合并而生成（语义类，属性）关系图。在输入中包含种子列表或者语义类相关模式的情况下（比如（北京，面积）），整个方法是一个半监督的自举过程，分为以下三个步骤。 (1）模式生成：在句子中匹配种子列表中的词和属性从而生成模式。模式通常由词和属性的环境信息而生成。 (2)模式匹配。 (3）模式评价与选择：通过生成的（语义类，属性）关系图对自动生成的模式的质量进 第11章 知识图谱 381 ## PDF_PHYSICAL_PAGE_INDEX=398 | PRINTED_PAGE=382 行自动评价并选择高分值的模式作为下一轮匹配的输入。 11.2.4 关系抽取 关系抽取的目标是解决实体语义链接的问题。关系的基本信息包括参数类型、满足此关系的元组模式等。例如，关系BeCapitalOf(表示一个国家的首都）的基本信息如下： Capital和Country表示首都和国家两个语义类。 早期的关系抽取主要是通过人工构造语义规则以及模板的方法识别实体关系。随后，实体间的关系模型逐渐替代了人工预定义的语法与规则。但是仍需要提前定义实体间的关系类型。 最初实体关系识别任务在1998年的MUC(Message UnderstandingConference)中以MUC-7任务被引入，目的是通过填充关系模板槽的方式抽取文本中特定的关系。1998年后，在ACE(Automatic Content Extraction）中被定义为关系检测和识别的任务。2009年，ACE并入TAC(TextAnalysis Conference)，关系抽取被并入KBP（Knowledge Base Population)领域的槽填充任务。从关系任务定义上，分为限定领域（CloseDomain）和开放领域（OpenIE）；从方法上看，实体关系识别从流水线识别方法逐渐过渡到端到端的识别方法。 基于统计学的方法将从文本中识别实体间关系的问题转化为分类问题。基于统计学的方法在实体关系识别时需要加入实体关系上下文信息确定实体间的关系，然而基于监督的方法依赖大量的标注数据，因此半监督或者无监督的方法受到了更多关注。 11.2.5 知识表示 传统的知识表示方法主要是以RDF（资源描述框架）的三元组SPO（Subject，Property，Object)来符号性地描述实体之间的关系。这种表示方法通常很简单，受到广泛认可，但是其在计算效率、数据稀疏性等方面面临诸多问题。近年来，以深度学习为代表的表示学习技术取得了重要的进展，可以将实体的语义信息表示为稠密低维实值向量，进而在低维空间中高效计算实体、关系及其之间的复杂语义关联，对知识库的构建、推理、融合以及应用均具有重要的意义。 知识表示学习的代表模型有距离模型、单层神经网络模型、双线性模型、神经张量模型、矩阵分解模型、翻译模型等。比如，距离模型提出了知识库中实体以及关系的结构化嵌套方法(StructuredEmbedding，SE)，其基本思想是，首先将实体用向量进行表示，然后通过关系矩阵将实体投影到与实体关系对的向量空间中，最后通过计算投影向量之间的距离来判断实体间已存在的关系的置信度。由于距离模型中的关系矩阵是两个不同的矩阵，使得协同性较差。针对上述提到的距离模型中的缺陷，有人提出了采用单层神经网络的非线性模型(SingleLayerModel，SLM），模型为知识库中每个三元组（h,r,t)定义了一个评价函数。还有一个模型叫TransE模型，它将知识库中实体之间的关系看成是从实体间的某种平移，并用向量表示。 知识库中的实体关系类型也可分为1-to-1、1-to-N、N-to-1、N-to-N四种类型，而复杂关系主要指的是1-to-N、N-to-1、N-to-N三种关系类型。由于TransE模型不能用在处理复杂关系上，一系列基于它的扩展模型纷纷被提出，有TransH模型、TransR模型、TransD模型、TransG模型等。 人工智能与大数据技术导论 382 ## PDF_PHYSICAL_PAGE_INDEX=399 | PRINTED_PAGE=383 11.2.6 知识融合 通过知识提取实现了从非结构化和半结构化数据中获取实体、关系以及实体属性信息的目标。但是由于知识来源广泛，存在知识质量良莠不齐、来自不同数据源的知识重复、层次结构缺失等问题，因此必须要进行知识的融合。知识融合是高层次的知识组织，使来自不同知识源的知识在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等步骤，达到数据、信息、方法、经验以及人的思想的融合，形成高质量的知识库。 当知识从各个数据源下获取时，需要提供统一的术语将各个数据源获取的知识融合成一个庞大的知识库。提供统一术语的结构或者数据被称为本体，本体不仅提供了统一的术语字典，还构建了各个术语间的关系以及限制。本体可以让用户非常方便和灵活地根据自己的业务建立或者修改数据模型。通过数据映射技术建立本体中术语和不同数据源抽取知识中词汇的映射关系，进而将不同数据源的数据融合在一起。同时，不同源的实体可能会指向现实世界的同一个客体，这时需要使用实体匹配将不同数据源相同客体的数据进行融合。不同本体间也会存在某些术语描述同一类数据，对于这些本体，则需要本体融合技术把不同的本体融合。最后融合而成的知识库需要一个存储、管理的解决方案。知识存储和管理的解决方案会根据用户查询场景的不同采用不同的存储架构，如NoSOL或者关系数据库。同时，大规模的知识库也符合大数据的特征，因此需要传统的大数据平台（如Spark或者Hadoop）提供高性能计算能力，支持快速运算。 1. 实体对齐 实体对齐(entity alignment)也称为实体匹配(entity matching)、实体解析(entity resolution)或者实体链接（entitylinking），主要用于消除异构数据中实体冲突、指向不明等不一致性问题，可以从顶层创建一个大规模的统一知识库，从而帮助机器理解多源异质的数据，形成高质量的知识。 在大数据的环境下，受知识库规模的影响，在进行知识库实体对齐时，主要会面临3个方面的挑战：（1）计算复杂度，匹配算法的计算复杂度会随知识库的规模呈二次增长，难以接受；(2）数据质量，由于不同知识库的构建目的与方式有所不同，可能存在知识质量良莠不齐、相似重复数据、孤立数据、数据时间粒度不一致等问题；（3）先验训练数据，在大规模知识库中，想要获得这种先验数据非常困难，通常情况下，需要研究者手工构造先验训练数据。综上所述，知识库实体对齐的主要流程包括：（1）将待对齐数据进行分区索引，以降低计算的复杂度；（2）利用相似度函数或相似性算法查找匹配实例；（3）使用实体对齐算法进行实例融合；（4）将步骤（2）与步骤（3）的结果结合起来，形成最终的对齐结果。对齐算法可分为成对实体对齐与集体实体对齐两大类，而集体实体对齐又可分为局部集体实体对齐与全局集体实体对齐。 第11章 知识图谱 383 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=400&limit=10)