人工智能与大数据技术导论
●知识加工：本体构建、分析推理。
●知识呈现：图谱可视化、搜索。
11.2.1 知识提取
知识提取一方面是面向开放的链接数据，通常典型的输入是自然语言文本或者多媒体内容文档（图像或者视频）等。然后通过自动化或者半自动化的技术抽取出可用的知识单元，知识单元主要包括实体（概念的外延）、关系以及属性3个要素，并以此为基础，形成一系列高质量的事实表达，为上层模式层的构建奠定基础。
在处理非结构化数据方面，首先要对用户的非结构化数据提取正文。目前的互联网数据存在着大量的广告，正文提取技术希望有效地过滤广告而只保留用户关注的文本内容。当得到正文文本后，需要通过自然语言技术识别文章中的实体，实体识别通常有两种方法，一种是用户本身有一个知识库，可以使用实体链接将文章中可能的候选实体链接到用户的知识库上；另一种是当用户没有知识库时，需要使用命名实体识别技术识别文章中的实体。若文章中存在实体的别名或者简称，还需要构建实体间的同义词表，这样可以使不同实体具有相同的描述。在识别实体的过程中可能会用到分词、词性标注，在深度学习模型中需要用到分布式表达，如词向量。同时，为了得到不同粒度的知识，还可能需要提取文中的关键词、获取文章的潜在主题等。当用户获得实体后，则需要关注实体间的关系，我们称为实体关系识别，有些实体关系识别的方法会利用句法结构来帮助确定两个实体间的关系，因此在有些算法中会利用依存分析或者语义解析。如果用户不仅仅想获取实体间的关系，还想获取一个事件的详细内容，那么需要确定事件的触发词并获取事件相应描述的句子，同时识别事件描述句子中实体对应事件的角色。
在处理半结构化数据方面，主要的工作是通过包装器学习半结构化数据的抽取规则。由于半结构化数据具有大量的重复性结构，因此对数据进行少量的标注可以让机器学会一定的规则，进而在整个站点使用规则，对同类型或者符合某种关系的数据进行抽取。最后，当用户的数据存储在生产系统的数据库中时，需要通过ETL工具对用户生产系统下的数据进行重新组织、清洗、检测，最后得到符合用户使用目的的数据。
实体抽取
实体抽取也称为命名实体学习（named entitylearning）或命名实体识别（namedentityrecognition），指的是从原始数据资料中自动识别出命名实体。由于实体是知识图谱中最基本的元素，其抽取的完整性、准确率等将直接影响知识图谱构建的质量。因此，实体抽取是知识抽取中最为基础与关键的一步。我们可以将实体抽取的方法分为4种：基于百科站点或垂直站点抽取、基于规则与词典的抽取、基于统计机器学习的抽取以及面向开放域的抽取。基于百科站点或垂直站点抽取是一种很常规的提取方法；基于规则与词典的抽取通常需要为目标实体编写模板，然后在原始资料中进行匹配；基于统计机器学习的抽取主要是通过机器学习的方法对原始资料进行训练，然后利用训练好的模型识别实体；面向开放域的抽取将面向海量的Web资料。
378