11.2.6 知识融合
通过知识提取实现了从非结构化和半结构化数据中获取实体、关系以及实体属性信息的目标。但是由于知识来源广泛，存在知识质量良莠不齐、来自不同数据源的知识重复、层次结构缺失等问题，因此必须要进行知识的融合。知识融合是高层次的知识组织，使来自不同知识源的知识在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等步骤，达到数据、信息、方法、经验以及人的思想的融合，形成高质量的知识库。
当知识从各个数据源下获取时，需要提供统一的术语将各个数据源获取的知识融合成一个庞大的知识库。提供统一术语的结构或者数据被称为本体，本体不仅提供了统一的术语字典，还构建了各个术语间的关系以及限制。本体可以让用户非常方便和灵活地根据自己的业务建立或者修改数据模型。通过数据映射技术建立本体中术语和不同数据源抽取知识中词汇的映射关系，进而将不同数据源的数据融合在一起。同时，不同源的实体可能会指向现实世界的同一个客体，这时需要使用实体匹配将不同数据源相同客体的数据进行融合。不同本体间也会存在某些术语描述同一类数据，对于这些本体，则需要本体融合技术把不同的本体融合。最后融合而成的知识库需要一个存储、管理的解决方案。知识存储和管理的解决方案会根据用户查询场景的不同采用不同的存储架构，如NoSOL或者关系数据库。同时，大规模的知识库也符合大数据的特征，因此需要传统的大数据平台（如Spark或者Hadoop）提供高性能计算能力，支持快速运算。
- 实体对齐
实体对齐(entity alignment)也称为实体匹配(entity matching)、实体解析(entity resolution)或者实体链接（entitylinking），主要用于消除异构数据中实体冲突、指向不明等不一致性问题，可以从顶层创建一个大规模的统一知识库，从而帮助机器理解多源异质的数据，形成高质量的知识。
在大数据的环境下，受知识库规模的影响，在进行知识库实体对齐时，主要会面临3个方面的挑战：（1）计算复杂度，匹配算法的计算复杂度会随知识库的规模呈二次增长，难以接受；(2）数据质量，由于不同知识库的构建目的与方式有所不同，可能存在知识质量良莠不齐、相似重复数据、孤立数据、数据时间粒度不一致等问题；（3）先验训练数据，在大规模知识库中，想要获得这种先验数据非常困难，通常情况下，需要研究者手工构造先验训练数据。综上所述，知识库实体对齐的主要流程包括：（1）将待对齐数据进行分区索引，以降低计算的复杂度；（2）利用相似度函数或相似性算法查找匹配实例；（3）使用实体对齐算法进行实例融合；（4）将步骤（2）与步骤（3）的结果结合起来，形成最终的对齐结果。对齐算法可分为成对实体对齐与集体实体对齐两大类，而集体实体对齐又可分为局部集体实体对齐与全局集体实体对齐。
第11章 知识图谱
383