基于人才知识图谱推理的强化学习可解释推荐研究
阮小芸廖健斌李祥杨阳李岱峰
（中山大学信息管理学院广州510006）
摘要：【目的】为解决现有工作推荐存在的难以大规模应用、冷启动、缺乏新额性和解释性等问题，提出基于人才知识图谱推理的强化学习可解释推荐方法.【方法】基于真实的简历数据集构建人才社会经历知识图谱.依据强化学习的理论在知识图谱上训练一个策略智能体.将一次推理过程分解为选择方向、选择节点两PGPR模型，基于人才知识图谐推理的强化学习可解释推荐模型在MRR@20（81.7%）Hit@1（74.8%）Hi@5 个子过程，使其能够在知识图谱上寻找潜在的优质推荐目标.【结果】相比于LR、BPR、JRL-int、JRL-rep及（92.2%）以及Hit@10（97.0%）均表现最优.【局限】实验数据集规模和任务类型相对有限.【结论】该模型有效结合人才历史工作经历、相似人才工作经历进行推荐，结合知识图谱工作岗位的属性关联，在给出推荐结果的同时，提供推理路径，能够有效应对冷启动和缺乏新颖性、可解释性问题.
关键词：工作推荐知识图谱推理强化学习可解释推荐
引用本文：阮小芸，廖健斌，李祥等.基于人才知识图谱推理的强化学习可解释推荐研究[J].数据分析与知识发现 . 2021 5 (6) : 36-50. (Ruan Xiaoyun Liao Jianbin Li Xiang et al. Interpretable Remendation of Reinforcement Learning Based on Talent Knowledge Graph Reasoning[J]. Data Analysis and KnowledgeDiscovery 2021 5(6): 36-50.)
行信息筛选，越来越多的招聘网站开始为求职者进行工作推荐，然面现有的推荐效果一般且不具有可 解释性，不能够为求职者提供最精准可解释的工作推荐.因此，在竞争激烈的就业市场上如何为求职者选择最合适自己的工作成为各方关注的焦点，如何结合求职者自身的社会经历与目标公司和岗位信息进行精准的匹配已成为函待解决的问题.可解释推荐旨在向寻求工作的人提供更加精准的工作推 荐，以大量前人的社会经历作为参考来帮助他们快速找到合适自己的工作.然而，现有的工作推荐存
1引言
人才工作岗位匹配一直是人们关注的热点间的从业者都面临着工作岗位与自身发展的匹配问 题，无论是刚毕业的学生还是已经有丰富工作经验题.受新冠肺炎疫情等多重因素影响，根据中华人民共和国人力和社会资源保障部最新数据显示，2020年前7个月全国城镇新增就业674万人.同比减少196万人，而城镇失业人员再就业人数为259万 人，就业困难人员就业人数84万人，由此可见不论是新增就业还是失业再就业的形势均较为严峻”.信息爆炸，就业信息繁多杂，无法简单依靠人工进释性等问题.虽然已有研究将知识图谱和强化
本文的主要工作如下：
2研究现状
2.1工作推荐
学习理论相结合并运用到问答、推荐等任务中，但是仍面临着奖励稀疏、动作空间过大、探索与利用难以 平衡等挑战.
为应对上述挑战，本研究基于真实的简历数据集构建人才社会经历知识图谱，依据强化学习的理论在知识图谱上训练一个策略智能体，使其能够在知识图谱上寻找潜在的优质推荐目标.训练好的智 能体能够根据用户在知识图谱中所处的环境推理出有效路径并找到合适的工作候选集，这些推理路径将作为推荐的理由为用户提供推荐解释，不仅避免而且推理路径的展示增强了推荐的可解释性.推荐 了决策的绝对化，同时增加了推荐候选集的新颖性，示例如图1所示.
图1基于人才社会经历知识图谱的工作推荐示例Fig.1 Examples of Job Remendations Based onthe Talent Social Experience Knowledge Graph
（1）基于真实的简历数据集构建了人才社会经历知识图谱.
（2）设计一个分层强化学习智能体，对巨大动作空间进行分类探索，提高知识图谱推理效率，避免大量计算.
（3）采用一种以起始节点为参照对象的动作剪枝策略，避免了探索-利用的不平衡，并提高推理过 程的合理性.
（4）提出模型能充分利用人才社会经历信息.探索其潜在的需求和兴趣，在工作推荐方面具有新颖性、合理性和可解释性，并有效应对冷启动问题.
工作推荐一直是推荐领域研究的热门话题.文
献[9]利用Linkedn中用户的公开资料数据，找出工作和人际交往技能之间的关系.语义关联是通过潜 在语义分析（Latent Semantic Analysis LSA）产生的.利用挖掘的语义得到职位的层次聚类，构建职位推荐系统.端到端的二元感知APJFNN模型利用基于递归的神经网络构建职位要求和求职者经验的词级语义表示，设计了4种分层注意力机制，以衡量工 作要求对语义表征的不同重要性，并对拟合结果提供更好的解释.Meng等使用一个内嵌注意力机制的神经网络结构来表征内部和外部的工作流动性，同时在训练中考虑个人资料以增强可解释性.Gugnani等提出隐藏技能的概念，利用Doc2Vec模 型得到职位描述中缺失但在相似的职位描述中存在的技能，获得最终的隐式技能集，以匹配从候选人简历中提取的技能与职位描述的显性和隐性技能.
2.2基于知识图谱的可解释推荐
识图谱的加人主要是用以增强模型的可解释 目前将知识图谱用于推荐的研究逐渐增多.知性.当前研究主要以两个方向为主，一是将知识图谱嵌入以丰富现有的信息内容，提升推荐的性能.提取不同类型信息的语义表示，通过异构网络嵌人到知识图谱中，再集成协同过滤，增强了模型的 可解释性.将知识图谱嵌人到记忆网络中，再利用GRU和注意力机制得到用户对每个属性的偏好表示，以全面了解用户喜好”.通过自动选代沿着知识图谱中的链接扩展用户的潜在兴趣，刺激用户对知识实体集偏好的传播.用户历史上点击过的项 目所引发的多个“涟漪”因此叠加在一起，形成用户对候选项目的偏好分布，最终推荐物品与用户间的传播路径能够提供可解释性.另一个方向则是利用知识图谱中的实体和路径信息进行可解释性的推荐.Ai等提出一种嵌入异构实体进行推荐的知识 库表示学习框架，将用户的各种行为以及与商品属性相关的信息嵌人到知识图谱中，并在此基础上提出一种软匹配算法生成个性化的推荐对象解释.KPRN利用知识图谱组合实体和关系的语义生成路径表示，借助路径的序列依赖关系进行有效推理，用 以推理用户和物品之间的交互关系，同时通过加权池计算连接不同用户和物品之间的路径的优劣，增强模型的可解释性.
研究论文
目前的工作推荐模型利用神经网络、注意力机制等提升推荐效果，但是缺乏解释性；而基于知 识图谱的推荐可以增强推荐模型的可解释性[.将知识图谱和强化学习理论相结合的研究可以根据应用场景灵活地控制解释质量，但仍面临着奖励稀疏、动作空间过大、探索与利用难以平衡等挑战.因此，在已有研究”的基础上，本文依据强化学 习的理论在知识图谱上训练一个分层强化学习智能体，采用以起始节点为参照对象的动作剪枝策略，为工作推荐的研究提供新的思路.
2.3强化学习
度强化学习已经成功应用到很多领域，比如 近年来，强化学习引起了研究界的极大兴趣，深AlphaGo.已有研究尝试将强化学习运用到推荐系统中，比如广告推荐新闻推荐以及可解释性的因果推荐.Wang等”设计了一个可解释推荐的强化学习框架，用以解释任何推荐模型，并可以根据的神经网络实例化了框架中的解释生成器来生成句 应用场景灵活地控制解释质量.研究基于自注意力子级的解释.
也有研究将强化学习与知识图谱结合起来用于知识问答领域，将多跳推理作为一个序列决策问题.Xiong等提出一种用于学习多跳关系路径的强化 学习框架，使用一个基于知识图谱嵌入编码智能体在连续空间中的状态，通过对最有希望的关系进行采样以扩展其路径在知识图谱向量空间中推理.文献[24]使用一个奖励函数训练策略梯度，在奖励梯度中引人不同的标准，有助于更好地控制路径查 找.Lin等采用预先训练的单跳嵌人模型估计未观察到事实的回报，通过强制代理使用随机生成的边缘掩码探索不同的路径集对抗策略上强化学习对假路径的敏感性，利用强化学习训练智能体，在选答案. 未事先计算好路径的情况下在知识图谱上查找候
3基于人才知识图谱推理的强化学习可解 释推荐模型
通过对原始简历数据进行数据清洗，去除异常字符和空值，得到处理后的简历数据集.通过关键字提取出用户职业发展的概念字段，如教育背景、工作经历等，以满足知识图谱构建对元数据的需求.依据概念字段进行实体和属性抽取、实体消歧及实 体关系抽取，进面构建人才社会经历知识图谱.将人才社会经历知识图谱中人才的社会经历作为模型的输人，模型输出最后的工作，使用分层推理强化学习模型对数据进行训练，以实现可解释性工作推荐，最后采用MRRHit、Precision、Recall等指标评估模型的推荐效果，主要工作流程如图2所示.
图2工作流程Fig.2Main Workflow
表示头实体e与尾实体e间存在关系r.人才社会经历知识图谱是从海量简历中抽取重要实体信息构成的，它包括用户实体集U和工作实体集W，其中.Wε.nW=.用户实体u∈与工作实体
3.1问题定义
一般地，一个拥有实体集（包含用户实体子集Z)和关系集R的知识图谱G定义为G={（e r，e）丨e，e'∈E，r∈R}，其中每个三元组（e r e’)
weW之间可以通过关系r_∈R进行连接，表示用户u具有w这项工作经历.而基于知识图谱的可解 释性推荐就是给定用户实体u，找到可能与其存在关系的工作实体w作为推荐结果，并给出实体之间合理的连接路径作为解释.具体地，将知识图谱上的k-hop路径”1-hop行走以及推荐任务定义如下：
(er e) ∈ G e {ee ... e}}.
G.初始用户节点u∈U和整数K，推荐目标是找 （3）推荐任务：给定人才社会经历知识图谱到与u存在合理路径P（2≤k≤K）的工作w的候选集合{w}≤W，其中n∈[1.N].N为候选集容量.
hop路径P定义为由k个关系连接的k1个实体.即 （1）k-hop路径：一条从实体e 到实体e 的k-(e e ) ∈ G或(e r) ∈ Gi=[1 k ]. P=ee→e}，其中ee表示
本文提出的完成上述推荐任务的分层强化学习路径推理方法用于在含有丰富异质信息的知识图谱3所示.该方法主要目标是训练一个策略智能体，使 上探索k-hop路径以寻找可能存在的推荐目标，如图其能够在知识图谱上从起始经历节点开始依照学到的策略进行游走，寻找潜在的优质推荐目标.当训练完成后，期望该智能体能够根据用户在知识图谱中所处的环境推理出有效路径并找到合适的工作候 选集，这些推理路径将作为推荐的理由为用户提供推荐解释.
（2）1-hop行走：给定k-hop路径P（P={e→ee）.则当前节点为e，那么1-hop行走定义为智能体选择了（r-e1)作为行走路径，使得当前k-hop路径变为P（P=→→e→e1） 其中(re)∈{(r e) s1
图3基于人才社会经历知识图谱的分层推理工作推荐模型
Experience Knowledge Graph
Fig.3 Hierarchical Reasoning Work Remendation Model Based on the Talent Social
作经历、求职意向等信息的载体，本身即存在相对结构化的模板，具备一定的格式.因此在人才社会经
3.2人才社会经历知识图谱构建
简历是人才向企业介绍基本信息、教育背景、工
历知识图谱构建中，可以从半结构化的简历信息中通过关键字直接提取用户职业发展的概念字段，如 教育背景、工作经历等，以满足知识图谱构建对元数据的需求.
名规则不统一，因此采用文本相似度匹配的方法.借助关键词匹配和人工标注从数据集中获取部分准 确的结果作为训练集，然后利用BERT模型”在该训练集上进行fine-tune进而获得领域实体的词向量表示，将词向量表示进行聚类即相似度匹配，最终得到30多个岗位大类200多个岗位中类，示例如表1所示.
人才社会经历知识图谱的构建主要以简历数据的元数据为依据，对简历数据集中每个用户的工作经历、教育经历进行实体、实体关系抽取，在此基础 上构建人才社会经历知识图谱，基于该人才社会经历知识图谱可以提供可解释的推荐路径.知识图谱构建流程主要包括实体抽取、实体消歧、实体关系抽取三部分.
表1岗位类别示例
Table 1 Examples of Position Categories
大类 中类 原始岗位测试 产品测试开发集成测试工程师 软件测试工程师，测试工程师，较件测试，云后端工程师，web后端工程师.python后端开后端开发发工程师，高级后端工程师，后编组长，广告 后编架构.前菊工程师助理，js工程鲜，Web前端开发工前端开发程师，hml工程师.前端工程师，移动前端负 责人网络信息安全工程师，信息安全经理，信息安计算机 信息安全全保障中心网络工程师，安全咨询顾问，密码 算法工程技术 大数据& 应用分析专员，数据支持专员，数据主管，大数据分析 数据工程师，数据支撑专员，奥情分析，数据 科学家.请音算法工程师，推荐算法工程师，图像算法算法 工程师，融合算法工程师.人工智能工程师. 数据算法工程数据库 据仓库，oracle高级工程师，数据库设计员. dba专员，oracle erp应用工程师，etloracle数开发 SQL技术支持.
（1）实体抽取
在原始的简历数据集中，每一份简历都包含求职者的工作经历和教育经历.其中，工作经历包括工作所属行业、工作的公司名、工作岗位、工作职责、工作开始与结束时间；教育经历包括学校、专业、学取，而对于长文本字段则通过结巴分词后，使用TF- 历、开始与结束时间.对于单个词字段可以直接抽IDF提取长本文中的关键词，将其作为用户完成某个工作所用到的工作技能.
（2）实体消歧
一的标准，在用户填写时，相同或相似内容会有不同 由于简历数据中的字段文本信息较多，缺乏统的文字表达，因此需要对相关的特征字段进行消歧.主要采用关键词匹配、远程监督、文本相似度匹配以及人工标注的方式进行消歧.
①关键词匹配：行业字段虽然类别不多，但是没有统一的标准，且存在重叠的现象.因此采用行业词表，将词表中相关行业的关键词与简历数据集中的行业字段进行关键词匹配，利用关键词进行行业类别归纳和标准化.专业字段存在类似的问题，研究依据国家发布的学科专业目录中二级学科专业 目录对专业进行关键词匹配标注.
④人工标注：对于无法利用上述手段处理的数据或可能存在模糊的地方，采取人工标注的方式进行数据的标准化处理，数据标注进行了重复标注筛查，以降低数据标注中的人为偏差.比如简历中学校字段会出现不常见的学校缩写，如“黑工程“需要 人工标注为“黑龙江工程学院”.
②远程监督：对于学校名称存在更名的现象，利用爬虫获取学校的历史名称”，然后对学校进行消歧，将2020年中华人民共和国教育部发布的全国高 等院校名单作为标准.以该公司名称作为检索词.利用百度API寻找最适合的公司标准名称对公司名进行消歧.
(3）实体关系抽取
假设共同出现在一段工作经历中的各种实体存在关系，以此进行关系抽取.主要是采用这种三元组对关系进行抽取，抽取了用户- 教育、用户-工作、工作-技能等相关属性关系，这些关系能够较好地反映人才社会经历.获得的知识图谱如图4所示.
③文本相似度匹配：岗位名称数据类别多且命
