知识图谱多跳问答推理研究进展、 挑战与展望
杜会芳，王昊奋”，史英慧”，王萌”
1.同济大学设计创意学院，上海200092；2.东南大学网络空间与安全学院，江苏无锡214100；3.东南大学计算机科学与工程学院，江苏南京211189
摘要
近年来，知识图谱问答在医疗、金融、政务等领域被广泛应用.用户不再满足于关于实体属性的单跳问答，而是更多地倾向表达复杂的多跳问答需求.为了应对上述复杂多跳问答，各种不同类型的推理方法被陆续提并重点围绕前沿问题进行了讨论.最后总结了现有方法的不足，并展望了未来的研究方向. 出.系统地介绍了基于嵌入、路径、逻辑的多跳知识问答推理的最新研究进展以及相关数据集和评测指标，
关键词
知识图谱：多跳问答：推理
中图分类号：TP311
文献标识码：A
Progress challengesandresearchtrends ofreasoninginmulti-hopknowledgegraph basedquestionanswering
DU Huifang' WANG Haofen' SHI Yinghui² WANG Meng? 1. College of Design and Innovation Tongji University Shanghai 200092 China3. School of Computer Science and Engineering Southeast University Nanjng 211189 China 2. School of Cyber Science and Engineering Southeast University Wuxi 214100 China
Abstract
Recently knowledge graph bsed question answering has been widely used in many fields such as medical care finance and govermment affirs. Users are no longer satisfied with question answering service of single-hop entity atributes but want service which can handle plex multi-hop question. In order to accurately and deeply understand multi-hopquestions various types of reasoning methods have been proposed. The latest research methods of multi-hop knowledgegraph based question ansering were systematically ntroduced as wel as related datasets and evaluation metrics These
researches methods were divided into three categories embedding-based methods path-based methods and logic-based sa88ns pue spo sx o suqs ap eu pasn aam sp sanss agu renμed u soqafuture research trends were summarized.
Key words
1引言
1.1背景介绍
knowledge graph multi-hop question answering reasoning
随着大数据时代的来临，帮助用户在海量信息中快速找到想要的信息尤为重要.知识图谱（knowledge graph，KG）以 三元组的形式结构化存储海量信息，一个三元组可以表示为，其中e表示头实体，e表示尾实体，r表示头实体与尾实体之间存在的关系.知识图谱三元组之间也存在关联关系，如上述三元组中的头实体e可能是另外一个三元组的尾实体. 知识图谱把海量互联网信息表达成客观世界可认知的语义表示，具有强大的语义表达、存储和表达能力，在工业界和学术界得到了广泛关注和研究应用.智能间答系统旨在针对用户提出的复杂信息需求，允许用户用自然语言间句的形式提问， 并为用户直接返回精准的答案.得益于知识图谱技术的快速发展，基于知识图谱的间答 (knowledge graph based questionanswering，KGQA）技术利用其丰富的结构化语义信息，能够深入理解用户的问题， 并给出准确的答案叫，为用户提供7×24小时的智能问答服务，在医疗、教育、金融等多个额域凸显出重要的应用价值-.
传统KGQA以实体、属性等单一具体对象为主，而在实际应用场景中，用户不再满足于单跳的知识问答，如在医疗领域
中的咨询问题“常见的治疗感冒药物有哪些？”.用户更多地倾向表达复杂的多跳问答推理问题，如“请问伴有中耳炎并发症的感冒能用哪种药物治疗？”.而知识图谱 多跳问答（以下简称多跳知识问答）17-即针对包含多跳关系的间题，在知识图谱上进行多步推理，继而推断得到答案的一项任务.
1.2多跳知识问答推理分类
相比单跳问答，多跳知识问答需要在包含大量知识的知识图谱中找到多个有关联的三元组，并建模多跳长路径，这是更加具有挑战性的任务.同时知识图谱又是 不完备的，长路径中任意一个三元组的不完整都会导致找不到正确的答案，这为多跳知识问答带来了更大的挑战.为了解决没有明显答案的复杂多跳查询问题，模型需要基于知识图谱已有知识进行推理.作知识图谱智能问答更快落地实际应用发挥 为多跳知识间答的关键技术支擦，推理为了重要作用.
本文总结多跳知识问答推理的最新研究方法，并将这些方法分为基于嵌入的多跳知识问答推理、基于路径的多跳知识问答推理和基于逻辑的多跳知识问答推理3类 方法.其中，基于嵌人的多跳知识间答推理方法是将知识图谱元素（如实体、关系等）关联到低维连续向量空间叫，然后通过定义得分函数或解码器对目标查询对象进行排名来得到答案.而基于路径的多跳知
将问题和知识图谱三元组用嵌入的方式 表示来表达特征的语义.然而，与翻译模型TransE3TransHuTransR等关注嵌入表示的模型类似，这些方法只能回答简单间题1216-1.为了实现多跳间答推理以及应对多跳知识高效建模的挑战，很多基于语义匹配的方法被提出.Bordes A等 人在原来三元组表示方法2的基础上做了改进，通过对知识图谱中的问答路径和周围子图进行编码得到语义更加丰富的表示来推理得到答案.DongL等人u提出的多列卷积神经网络（multicolumn convolutional neural network MC-CNN）模型进一步地利用具有更强学习能力的神经网络模型来学习答案路径、答案背景信息以及答案类型的分布式表示，并理解问题，在不使用手动特征及词库等的条件下，在间答数据集WebQuestionsl2o上 取得了不错的结果.其中，答案路径是答案节点和被询问实体之间的一组关系：答案上下文指的是连接到答案路径的单跳实体和关系：答案类型是如人名、日期等的类型.HaoYC等人=认为MC-CNN模型没有充分并合理地考虑候选答案的相关信
识问答推理方法首先需要确定问题中的主 题实体，然后在知识图谱上随机游走找到答案实体-.代表性的工作有路径排序算法(path ranking approach PRA).关于基于逻辑的多跳知识问答推理方法，本文将重点介绍以一阶逻辑为主的热点研究方法.图1所示为基于知识图谱的多跳 问答推理方法分类，接下来综述这些分类中最新方法的研究进展、基本思路和存在的挑战等.
2基于嵌入的多跳知识问答推理
基于嵌入的多跳知识问答推理方法是将问题和候选答案转化为公共向量空间中的语义向量表示来进行操作的方法，基于嵌人的具体操作方法可以分为基于语义匹 配的方法、基于图神经网络的方法和基于记忆网络的方法.
（1）基于语义匹配的方法
本类方法首先计算间题和候选答案分候选答案来得到最终答案.Bordes A等人 布式表示之间的语义匹配，然后通过排序
图1基于知识图谱的多旗问答推理方法分类
息来训练问题嵌入的表示，提出了Cross- Attention机制的神经网络模型来学习知识图谱的全局信息，取得了更好的结果.但是以上几种方法只能完成浅层多跳知识问答推理，对复杂长路径多跳问题的处理能力依然不足.
模型通过基于知识图谱嵌入模型进行链 Saxena A等人z提出的EmbedKGQA接预测来缓解多跳问答面临的数据不完整问题，使其具有可以在复杂长路径上的多跳推理能力.EmbedKGQA模型使用ComplEx模型Ia将知识图谱中的实体和关 系嵌入复数向量空间，同时采用ComplEx的打分函数预测答案.具体而言，对于一个给定的问题g，首先使用RoBERTa2模型编码初始向量，然后通过一个前馈神经网络将该向量表示投射到复数嵌入向量空间.问题q和其主题实体h以及知识图谱 中的任一实体a可以构成三元组，其嵌入向量分别表示为q、h和a，如果a是q的目标答案实体，则将（h.g.a)视为正样本，并且使（h q a)>0，否则将（h，q.a）视为负样本，并使（h 4 a)<0，负样本可通过将正样本中的答案实体替换为知识图谱中其他非答案 实体来获得.EmbedKGQA使用大量的正负样本训练数据学习问题和实体的嵌入向量表示，在推理阶段则在嵌入空间中通过打分函数选择得分最高的实体作为可能的目标答案. HeGL等人认为多跳知识问答推理算法只接收最终答案的会使学习不稳定或无效，学习推理过程中的监督信号也非常重要，同时也能提升模型的可解释性.由此，HeGL等人提出了一种创Student框架最早由HintonG等人提出， 新的Teacher-Student模型.Teacher-用来做知识蒸馏，其中复杂的Teacher模型的预测被视为“软标签”，一个轻量级Student模型被用于训练拟合软标签.后 来，一些Teacher-Student框架的研究逐 渐被应用到问答任务中来加快模型的推理速度.在HeGL等人提出的模型中.Student网络的目标是找到间题的正确答案，而Teacher网络试图学习预测过程中的监督信号，以提高学生网络的推理能力.Teacher网络利用了正向和逆向双向推理 产生可靠的中间监督信号来增强中间实体分布表示学习.在3个公开的数据集上证明了该模型的有效性. 基于语义匹配的方法多采用弱监督学习，减少了人工标注的工作量，同时该方法 能够反映出用户问题和知识图谱知识的相似语义，为多跳推理问答的实现做了很好的基础.如何让基于语文匹配的方法学到更丰富和全面的知识图谱信息是这种方法的关键.另外，增强表示方法的可解释性也是重要的考虑因素. （2）基于图神经网络的方法 图卷积神经网络（graph convolutionalnetwork，GCN）1通过聚合知识图谱中每个实体的邻居实体来传递消息.GCN因为其在图结构上的有效性和可伸缩性的复杂图神经网络的基础，如图2所示. 而受到广泛利用，它是多跳推理方法采用SchlichtkrullM等人提出关系图卷积网络(relational graph convolutionalnetwork，R-GCN).最早将图卷积神经网络用于知识图谱链接预测的研究任务，通过聚合特定关系来扩展GCN，使其适 用于编码多关系图来预测多跳问题的答案.R-GCN模型整体是一个encoder-decoder架构，encoder通过图卷积神经网络将实体的邻域信息进行合，更新实体的表示；decoder基于更新后的实体表示， 采用打分函数来预测边.然而，该模型缺乏透明度，无法为关系选择提供可解释的依据.相比R-GCN，TeruK等人提出的GralL框架采用一种基于注意力机制的多 图2图卷积神经网络 关系图神经网络模型来解决在知识图谱上进行归纳式关系预测的间题.该注意力机制不仅和两个相邻实体以及它们之间的关系有关，也和需要被预测的目标关系有关.最终利用两个目标实体的表示、子图的表示以及预测关系的表示进行打分，将最高 得分作为预测结果.归纳学习方法GralL是式编码知识图谱中的规则以及利用的注意力机制增强了模型的可解释性. 近年来 BERT (bidirectional encoder[、RoBERTa等预训练语言模型在智能 representations from transformers)问答等自然语言处理（natural languageprocessing，NLP）任务中取得了巨大的成功.但是预训练模型的知识是隐式学习的，无法明确表示出来，因此无法提供可解释的预测.为了利用预训练模型学习到的率富知识，并且结合知识图谱 中的显式知识提高可解释性，许多预训练模型结合知识图谱的间答模型12-3被提出，FengYL等人=提出的多跳图关系网络（multi-hop graph relationnetwork，MHGRN）模型就是其中一 种.MHGRN模型是一种新颖的多跳图关系网络模型，它结合了基于路径的模型，具有可解释性和基于GNN模型扩展性强的优点，利用图神经网络通过在实体之 间传递消息来编码结构化信息，同时为了进一步使模型具有显式建模关系路径的能力，将图分解为路径，并类似LinBY等人2提出的知识感知型图神经网络(knowledge-aware graph network KagNet）采用长短期记忆（long short- term memory，LSTM）网络对限定连接长度的问题实体和答案实体的路径进行编码，然后通过注意力机制聚合路径嵌入来预测结果. 传统智能问答解决方法是单独从知识图谱或者文本中推断出答案.文本虽然是 非结构化的知识，但是可以提供丰富的上下文信息，将文本与知识图谱结构化的优势结合是最新的研究热点. GRAFTNet ( graphs of relationsamong facts and text network)ia和 PulINet（pullnetwork）将外部文本语料库和知识图谱结合起来完成多跳问答任务.GRAFT-Net将Wikipedia语料库中的文档和知识图谱中的实体建模作为节点，将实体和文档的链接关系（句子中包含此实体名词）以及知识图谱中实体之间存在 的关系建模为边，构建问题子图，以执行多跳推理.具体而言，GRAFT-Net从问题出发，首先由问题主题实体链接一些种子实体，再以种子实体为起点，通过个性化页面
