知识图谱推理：现代的方法与应用
王文广
达而观信息科技（上海）有限公司，上海201203
摘要
知识图谱推理技术旨在根据已有的知识推导出新的知识，是使机器智能具有和人类一样的推理和决策能力的 关键技术之一.系统地研究了知识图谱推理的现代方法，以统一的框架介绍了向量空间中进行知识图谱推理的模型，包括基于几何运算嵌入欧几里得空间和双曲空间的方法，基于卷积神经网络、胶囊网络、图神经网络等深度网络模型的方法.同时，系统地梳理了知识推理技术在各技术领域和各行业的应用情况，指出了当
前存在的挑战以及其中蕴含的机会.
关键词
知识推理：双曲空间嵌入：几何运算：胶囊网络：图神经网络
中图分类号：TP391.1
文献标识码：A
doi: 10.11959/j.issn.2096-0271.
Knowledgegraphreasoning:modern methodsandapplications
WANG WenguangDataGrand Inc. Shanghai 201203 China
Abstract
Knowledge reasoning over knowledge graph aims to discover new knwledge according to the existing knowledge.Itis a pivotal technology to realize the human reasoning and decision-making ability of machine. The moderm methods ofknowledge reasoning overknowledge graph were studied systematically And themethods bsed on vector epresentationswith a unified framework were introduced including the methods based on embedding into Euclidean space and hyperbolic space and bsed n eep leaing mthods such as cluti neural network capule netork gaph euralnetwork etc. Simultaneously the applications of knowledge reasoning in various technical fields and industries werepresented and the existing challenges and opportunities were pointed out as well.
Key words
knowledge reasoning hyperbolic space embedding geometric operation capsule nehwork graph neural network
和推理技术结合，从而实现辅助分析和决 策支持.
1引言
本文给出了知识推理的定义，并介绍了知识图谱推理技术：然后分别介绍了现代的基于几何运算和基于深度学习的知识图谱推理技术，并分别从技术领域和行业领域两个角度介绍了知识图谱推理技术的 应用：最后给出了知识图谱推理存在的挑战以及值得关注的研究方向.
近年来，知识图谱技术得到极大的发展，大量的知识图谱被构建出来，并被广泛应用在各种场景下.从语义解析、实体消歧、信息抽取、智能问答、推荐系统、个性化搜索等技术方向到金融、军工、制造业、生物医药等行业，都可以看到知识图谱的 应用，同时知识图谱的应用也在促进知识图谱技术的发展.
2知识图谱推理
知识图谱是事实或知识的结构化表示，是由实体和实体间的关系组成的网状结构.实体是指独立的、拥有清晰特征的、能够区别于其他事物的事物.在知识图谱 中，用来描述这些事物的信息即实体.实体在属性图中用顶点来表示，实体关联的类型即实体类型，在属性图中用顶点标签来表示.关系表达了两个实体之间的某种语义关系，通常以语义标签来表示，在属性图中表示为有向的边.也就是说，知识 图谱G由一系列的三元组组成，其中h和r分别表示头实体和尾实体，r表示由h到的有向关系.
知识图谱推理旨在从已有的知识中发现新的知识.对于知识图谱来说，新的知识可以分为两种：新的实体和新的关系.新的实体涉及的技术领域通常是实体抽取、实体消歧、实体融合等相关的自然语技术领域则有关系抽取和知识推理等.知 言处理或知识图谱技术.新的关系涉及的识图谱推理，或称知识推理，指在既定的知识图谱中通过推理技术推导出实体间潜在的或者新的关系，发现新的知识.在图数据库、图论等相关领域往往又被称为链接预测.
推理是一种人类逻辑思维，让机器能够像人类一样拥有推理能力一直是人工智能发展的目标.符号推理和专家系统是早 期的尝试，在知识图谱被提出和发展起来之后，基于知识图谱的推理技术-2也随之发展，并成为人工智能中非常热门的领域之一，也被认为是人工智能迈向具备和人类一样的推理和决策能力的关键技术.
能、自然语言处理、语义网等技术发展起 知识图谱推理技术是伴随着人工智来的.早期有基于规则的方法，著名知识图谱NELL利用手写规则的推理方法来不断扩充规模.一阶逻辑（firstorderlogic，FOL）是早期的一种符号推理系规则烦琐的问题，可采用将规则与统计学 统，也被用于知识图谱推理.针对手写习结合的马尔可夫逻辑网（Markovlogicnetwork MLN) 15-71 MLN是经典的推理方法.知识图谱的层次结构和逻辑结构往往被表示为本体（ontology）或模式（schema），基于本体的推理方法是知识
供了人类知识和经验的总结，推理技术则 在知识图谱推理中，知识图谱本身提实现了基于知识图谱中已有的知识来发现潜在的、未知的知识，极大地扩展了诸如知识问答、个性化搜索和智能推荐等能力.同时，在行业应用中，将领域知识图谱
中很有意义的方法.随机游走（random 图谱推理的经典方法之一，也是现实应用walk）是概率统计中经典的随机过程，将其应用于知识图谱推理中产生了著名的路径排序算法（path ranking algorithm PRA）及其与深度强化学习结合的深度深度学习为基础的人工智能技术的蓬勃发 路径（deep path）方法.近年来，随着以展，将知识图谱嵌入低维空间的方法逐渐成为主流，TransE是其中的先锋.
体t.本文使用式（1）所表示的模型框架来 介绍各种现代的知识推理方法.
3基于几何运算的方法
伸出来的，将知识图谱通过平移或旋转等 基于几何运算的模型是从word2vec延几何运算嵌入低维的几何空间中（通常是欧几里得空间，也可以是双曲空间等）.其中平移表现为向量加法，旋转表现为哈一个数学中与流形相关的概念，表达一个 达玛积（Hadamard product），嵌入则是数学结构的实例通过映射包含到另一个实例中.
本文关注的知识图谱推理方法是从TransE开始的，它源自自然语言处理领域的word2vecllz，是当前效果最好的、主流的、契合深度学习潮流的方法，也被称为现 代的方法.这类方法可学习出知识图谱的稠密向量表示，是知识图谱领域的表示学习.对于学习出的翻密向量，既可以直接进行推理应用，也便于使用各种深度学习模型和算法来实现下游任务，如知识问答或辅助决策等.
将知识图谱嵌入几何空间时，解决知识图谱中不同特点的关系的推理问题，从些特点包括一对一、一对多、多对一、多 而推进基于几何运算的方法的发展，这对多l、对称性（symmetry）、反对称性(antisymmetry)、反向性(inversion)和组合性（position）l等.
知识图谱G=（)≤E×R×E，其中E为实体集合，h、rEE；R为关系集合，rER.现代知识图谱推理方法的目标是通过定义一个打分函数f（h，）来学习出表示实体和关系的向量k R，r∈R，如式（1） 所示，其中一表示映射：
3.1欧几里得空间嵌入
知识图谱推理的现代方法的雏形是word2vec，并从TransE模型开始逐渐发出来的词向量满足wr*" 展起来.图1表示了word2vec模型学习Wkr其隐含的关系“省会”（图1中虚线）没有被明确表示出来.TransE将word2vec中隐含的关系用向量明确地表示出来，并应用到知识图谱中.
f.(h1):R×R×R→R(1)
望打分函数计算出的分数无限接近于0. 对于符合知识图谱的正样本来说，期其中，d和d表示实体和关系向量的维度，在大多数模型中，d=d-d.在进行知识图谱推理时，对于任意给定的实体对，遍历知识图谱中的关系rER.并计算的 分数，若低于某个阔值，则表示h和r之间存在关系r.在某些时候需要从中推断，此时可以遍历的实体r∈E，使用式（1）来计算分数，若分数低于某个阅值，则表明实体h在关系r的作用下，得到了实
基于几何运算的知识图诺推理在TransE的基础上持续发展.TransE把实 体间的关系用向量明确地表示出来，并用几何平移来解释实体间的关系，如图2（a）所示.继TransE后大量平移或旋转的方法被提出来，这些方法和TransE一样使用欧氏
距离来计算打分函数，使用基于能量的方 法来定义损失函数，并用随机梯度下降来优化模型.
TransE将实体和关系嵌入同一个空间中，并定义打分函数为：
其中.11ll表示L2范数（L2norm）.谱非常友好，能够学习出各种具有反对称 TransE模型对仅有一对一关系的知识图性、反向性和组合性的关系.其结构简单、运算量小，是某些现实场景的首选方法.
TransH1=拓展了TransE模型，为每个关系学习嵌入空间的一个超平面W（lW|-1）.并将三元组解释为实 体在关系超平面上的平移变换.如图2（b）所示，TransH先将实体向量和r映射到关系超平面w，上.得到w-h-WhW，和r=r-Ww .并将关系表示为超平面上的平移变换，即向量加法r=r.由此TransH的打分函数为：
TransH模型通过关系特定的超平面，实现了自反、一对多、多对一和多对多的嵌入表示.TransR模型u将实体和关系分别嵌入不同的几何空间，使得相同的实体在不同的关系下能够表示不同的语如图2（c）所示，TransR通过映射矩阵 义，进一步增强了知识图谱的推理能力.M eR将实体向量h、r映射到关系空间得到h =hM，和t=M ，并在关系空间进行平移变换，即h，r=I.由此.将TransR的打分函数定义为：
A、 cR"和关系映射向量r eR来构造映 TransD模型"用实体映射向量射矩阵M=r 和M=r x
(2）
（3)
f(h )h 1AM rM (4)
图1word2vec 的示例
图2基于欧几里得空间的平移运算的知识图谱推理模型
（I表示单位矩阵），并代替TransR中的映射矩阵M，使得模型能够表达实体在不同关系中潜在的多个语义关系.由于向量乘法效率高于矩阵乘法，将TransD模型应用于大规模知识图谱中具有计算效率上的优
的区别.同时，为了表达旋转，实体和关系 系进行建模，图4展示了RotatE与TransE的嵌人向量从实数扩展到复数向量空间.旋转在复向量空间的运算表示为向量的哈达玛积，即每个元素分别相乘的运算，这个与平移操作的加法是类似的.对于
.RotatE将实体和关系嵌人复向量空间 h.reC，并定义打分函数为：
势.类似地，TransD的打分函数为：
(5)
图2（d）直观地表示了TransD的模型.从图2和式（2）~式（5）可以看出，型一脉相承，都是用欧几里得空间中的平 TransE、 TransH TransR和TransD 4个模移来解释实体间的关系，并用欧氏距离来表示分数.进一步地，TransG模型u对这一模式进行了泛化建模，并用贝叶斯参数无限混合模型（Bayesian non-parametric程(Chinese restaurant process CRP) infinite mixture model）和中国餐馆过来解决关系的多语义表达问题.
(7)
其中，表示哈达玛积，模型将向量限制在单位圆中，并解释为逆时针的旋转，作用于复向量的相位部分.与平移的方法相比，RotatE能更加高效地实现对称和反对称、 反向和组合这些关系类型的建模.例如，r=e"=±1可以表示关系r是对称的，r和r是共轭的，可以表示两个关系r和r是反向的，=rr可以表示r是r和r的组合.RotatE对具有如上特点的知识图谱推理能够事半功倍.
TransG的打分函数是：
(6)
其中，u~N（0 1)和n，~N（0.1）是先验地从0和是相应的方差：m是关系的语义因子（mixingfactor），可以通过中示关系r的第i个语义成分的平移向量.u =r-h~N（n-a（o²o）E）是由头实体向量~NE和尾实体向量~N（n.o²E）运算得到的.
标准正太分布中抽样获得的平均向量，成分数量，通过中国餐馆过程能够从训练语料中学习出关系的不同的语义成分：.-CRP（B）是关系r的语义成分的混合国餐馆过程的吉布斯采样获得："表
3.2双曲空间嵌入
双曲空间（hyperbolic space）是具有常数负曲率的齐次空间，而欧几里得空间则是零曲率的.双曲几何提供了高效的方 法来学习层次数据的低维嵌入，特别地，仅仅用二维的双曲空间就能够以任意低的失真度嵌入树形数据".也就是说，将类似知识图谱这样具有丰富层次结构的数据嵌入双曲空间中，比嵌入欧几里得空间更加高效.
双曲空间嵌入通常使用d维庞加莱球C的原点所对应的切线空间是从原点离 庞加莱球的维度，-c表示曲率.庞加莱球开的有可能路径的方向的d维向量空间.切线空间T到B的映射通过指数映射(exponential map)exp(e)实现，而从到则通过对数映射（logarithmic
总体来说，TransG模型能够表示关系的多种语义.对其进行主成分（primaryponent）分析可知，TransE模型是TransG模型针对主成分的特例，而 TransG则是TransE的泛化，图3展示了两个模型.
旋转和平移一样是几何空间的基本操作，RotatE使用旋转代替平移对关
