[发明专利]句中实体关系模型训练方法及句中实体关系识别方法有效
| 申请号: | 202111618295.5 | 申请日: | 2021-12-28 |
| 公开(公告)号: | CN113987090B | 公开(公告)日: | 2022-03-25 |
| 发明(设计)人: | 于游;李乘风;廖望梅 | 申请(专利权)人: | 北京泷汇信息技术有限公司 |
| 主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/35;G06F40/47;G06N3/04 |
| 代理公司: | 北京绘聚高科知识产权代理事务所(普通合伙) 11832 | 代理人: | 汪帆 |
| 地址: | 100020 北京市朝阳区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 实体 关系 模型 训练 方法 识别 | ||
1.一种句中实体关系模型训练方法,其特征在于,该方法包括:
获取已标记样本、未标记样本及变换样本,其中,所述已标记样本包括数据及标签,所述未标记样本包括所述数据,所述数据为句中实体,所述标签为该句中实体之间的关系,所述变换样本是通过对所述未标记样本中的句中实体进行预设变换得到;
根据所述已标记样本对句中实体关系模型进行训练,根据真实实体关系与训练得到的估计实体关系之间的差异性确定第一损失项;所述句中实体关系模型包括向量量化层、上下文关联层、分类层及非线性激活层,所述分类层设置有神经元选择层;
根据所述未标记样本对所述句中实体关系模型进行训练,得到所述未标记样本对应的第一预测项;
根据所述变换样本对所述句中实体关系模型进行训练,得到所述变换样本对应的第二预测项;
根据所述第一预测项与所述第二预测项之间的距离得到第二损失项;
根据所述第一损失项及所述第二损失项确定第三损失项,根据所述第三损失项调整所述向量量化层、所述上下文关联层、所述分类层及所述非线性激活层之间的参数;
重复执行“根据所述已标记样本对句中实体关系进行训练”及其后续所有步骤,直至所述第三损失项满足预设条件停止执行,得到训练好的句中实体关系模型。
2.根据权利要求1所述的句中实体关系模型训练方法,其特征在于,所述预设变换包括:
将所述未标记样本中的句中实体翻译成其他语言,再将其他语言翻译成该句中实体对应语言类型的内容得到变换样本;
和/或
将所述未标记样本中的句中实体进行同义词替换得到变换样本;
和/或
将所述未标记样本中的句中实体中随机插入或删除预设文字得到变换样本。
3.根据权利要求1所述的句中实体关系模型训练方法,其特征在于,所述根据真实实体关系与训练得到的估计实体关系之间的差异性确定第一损失项包括:
;
其中,为第一损失项,为第i个已标记样本对应的估计实体关系的概率分布值,为第i个已标记样本对应的真实实体关系的概率分布值,i为第i个已标记样本。
4.根据权利要求3所述的句中实体关系模型训练方法,其特征在于,所述根据所述第一预测项与所述第二预测项之间的距离得到第二损失项包括:
其中,为所述第二损失项,为第j个未标签样本对应第一预测项的概率分布值;为第j个未标签样本变换后的变换样本对应第二预测项的概率分布值。
5.根据权利要求4所述的句中实体关系模型训练方法,其特征在于,所述根据所述第一损失项及所述第二损失项确定第三损失项包括:
其中,为所述第三损失项,为所述第一损失项,为所述第二损失项,为超参数。
6.根据权利要求1所述的句中实体关系模型训练方法,其特征在于,所述句中实体之间的关系包括上下位关系、下上位关系、同位关系及无关系;预先为句子中目标实体之前标记开始符,在所述目标实体之后标记结束符;其中,所述开始符和所述结束符成对出现;所句中实体通过以下方式获取:
识别句子中是否存在所述开始符;
若所述句子中存在开始符,识别句子中是否存在所述结束符;
若所述句子中存在结束符,则提取所述开始符和所述结束符之间的内容作为句中实体。
7.一种电子设备,其特征在于,所述电子设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-6任一项所述的句中实体关系模型训练方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有权利要求7所述的电子设备中所用的计算机程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京泷汇信息技术有限公司,未经北京泷汇信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111618295.5/1.html,转载请声明来源钻瓜专利网。





