[发明专利]基于知识蒸馏的知识图谱对齐方法、装置及设备在审
申请号: | 202111562165.4 | 申请日: | 2021-12-17 |
公开(公告)号: | CN114328952A | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 张勇;李昕航;李欣;李超;王霞;盛明 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06K9/62;G06N5/02;G06N3/04;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 邢大鑫 |
地址: | 100084 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 知识 蒸馏 图谱 对齐 方法 装置 设备 | ||
1.一种基于知识蒸馏的知识图谱对齐方法,其特征在于,包括:
获取待对齐知识图谱集合,所述待对齐知识图谱集合包括至少两个不同的待对齐知识图谱,每个所述待对齐知识图谱中包括至少一个实体;
输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐;其中,所述知识图谱对齐模型是基于知识图谱样本和预先确定的所述知识图谱样本中的实体标签进行训练后得到的。
2.根据权利要求1所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述知识图谱对齐模型包括输入层、中间层和输出层;
对应的,所述输入所述待对齐知识图谱集合至知识图谱对齐模型,将不同的所述待对齐知识图谱中的相同实体进行对齐,包括:
通过所述输入层将所述待对齐知识图谱集合输入至所述中间层;
通过所述中间层将所述待对齐知识图谱集合中不同的所述待对齐知识图谱中的相同实体进行对齐,得到对齐的结果;
通过所述输出层将对齐后的结果进行输出。
3.根据权利要求2所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述中间层包括门控图卷积网络、知识嵌入网络、邻域共识网络和关系知识蒸馏网络;
所述知识图谱对齐模型的训练过程,包括:
通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示;
基于所述向量表示,通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示,得到教师网络;
基于所述向量表示,通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示,得到学生网络;
通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示,得到知识图谱对齐模型。
4.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述通过所述门控图卷积网络将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示,包括:
识别所述待对齐知识图谱中的实体特征矩阵;
基于前向传播和门控机制将所述实体特征矩阵中的实体信息进行传递,以将所述不同的所述待对齐知识图谱的图结构信息转化为向量表示。
5.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述基于所述向量表示,通过所述知识嵌入网络学习每个所述图结构信息中实体和关系的嵌入表示,得到教师网络,包括:
基于所述向量表示,对所述图结构信息中的三元组进行正则化处理,得到评分函数;
根据所述评分函数和所述图结构信息中实体和关系的嵌入表示,得到知识嵌入损失函数作为教师网络。
6.根据权利要求3所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述基于所述向量表示,通过所述邻域共识网络学习每个所述图结构信息中实体的嵌入表示,得到学生网络,包括:
基于所述向量表示,计算不同的图结构信息中相同的实体与实体之间的相似度度量;
根据所述相似度度量和所述图结构信息中实体的嵌入表示,得到邻域共识损失函数作为学生网络。
7.根据权利要求6所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述通过所述关系知识蒸馏网络将所述教师网络中关系的嵌入表示迁移至所述学生网路中实体的嵌入表示,得到知识图谱对齐模型,包括:
分别采集所述教师网络中的实体样本和所述学生网络中的实体样本;
利用能量函数计算所述教师网络中的实体样本与所述学生网络中的实体样本之间的距离度量;
根据所述距离度量,得到蒸馏损失函数;
调整所述蒸馏损失函数和所述邻域共识损失函数在训练中的权重,得到目标损失函数作为知识图谱对齐模型。
8.根据权利要求7所述的基于知识蒸馏的知识图谱对齐方法,其特征在于,所述根据所述距离度量,得到蒸馏损失函数,包括:
对所述距离度量进行分段;
基于所述分段后的结果利用分段函数得到蒸馏损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111562165.4/1.html,转载请声明来源钻瓜专利网。