[发明专利]一种嵌套命名实体识别模型的训练方法及装置在审
| 申请号: | 202110150250.3 | 申请日: | 2021-02-03 |
| 公开(公告)号: | CN112800768A | 公开(公告)日: | 2021-05-14 |
| 发明(设计)人: | 王得贤;李长亮 | 申请(专利权)人: | 北京金山数字娱乐科技有限公司 |
| 主分类号: | G06F40/295 | 分类号: | G06F40/295;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 刘晓楠 |
| 地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 嵌套 命名 实体 识别 模型 训练 方法 装置 | ||
1.一种嵌套命名实体识别模型的训练方法,其特征在于,所述嵌套命名实体识别模型包括编码器和解码器,所述解码器包括至少两个标注分支层;
所述嵌套命名实体识别模型的训练方法包括:
将训练样本语句输入所述编码器中进行编码,获得所述训练样本语句对应的第一训练编码向量;并将所述第一训练编码向量输入所述解码器包括的所述至少两个标注分支层进行解码,获得所述至少两个标注分支层输出的预测实体类型;
针对所述至少两个标注分支层中的每一所述标注分支层,根据所述标注分支层输出的预测实体类型,计算所述标注分支层的第一损失值;根据所述至少两个标注分支层的所述第一损失值,确定所述嵌套命名实体识别模型的第二损失值;
根据所述第二损失值调整所述嵌套命名实体识别模型的参数,继续训练所述嵌套命名实体识别模型,直至达到训练停止条件。
2.根据权利要求1所述的嵌套命名实体识别模型的训练方法,其特征在于,所述将训练样本语句输入所述编码器中进行编码,获得所述训练样本语句对应的第一训练编码向量,包括:
接收所述训练样本语句,所述训练样本语句携带对应的实体类型标签,所述训练样本语句包括目标实体和除所述目标实体外的其他实体,所述目标实体对应有至少两个第一实体类型标签,所述其他实体对应有一个第二实体类型标签;
对所述训练样本语句进行分词,得到所述训练样本语句对应的训练字符序列;
将所述训练样本语句对应的训练字符序列输入所述编码器中进行编码,获得所述训练样本语句对应的第一训练编码向量。
3.根据权利要求2所述的嵌套命名实体识别模型的训练方法,其特征在于,所述将训练样本语句输入所述编码器中进行编码,获得所述训练样本语句对应的第一训练编码向量,包括:
获取所述训练字符序列对应的训练语句向量;
将所述训练语句向量输入所述编码器中进行编码,获得所述训练样本语句对应的第一训练编码向量。
4.根据权利要求2所述的嵌套命名实体识别模型的训练方法,其特征在于,所述标注分支层包括标注类型参数;
所述根据所述标注分支层输出的预测实体类型,计算所述标注分支层的第一损失值,包括:
根据所述标注分支层包括的所述标注类型参数、所述预测实体类型和所述实体类型标签,计算所述标注分支层的第一损失值。
5.根据权利要求4所述的嵌套命名实体识别模型的训练方法,其特征在于,根据所述标注分支层包括的所述标注类型参数、所述预测实体类型和所述实体类型标签,计算所述标注分支层的第一损失值,包括:
确定所述标注分支层输出的所述预测实体类型中所述目标实体对应的第一预测实体类型,以及除所述目标实体外的其他实体对应的第二预测实体类型;
根据所述标注分支层包括的标注类型参数,从所述目标实体对应的所述至少两个第一实体类型标签中确定对应的目标实体类型标签;
将所述第一预测实体类型和所述目标实体类型标签进行对比,将所述第二预测实体类型和所述第二实体类型标签进行对比,确定所述标注分支层的第一损失值。
6.根据权利要求3所述的嵌套命名实体识别模型的训练方法,其特征在于,所述嵌套命名实体识别模型还包括嵌入层;
所述获取所述训练字符序列对应的训练语句向量,包括:
将所述训练字符序列输入所述嵌入层做嵌入化处理获得所述训练语句向量。
7.根据权利要求1所述的嵌套命名实体识别模型的训练方法,其特征在于,所述解码器还包括至少一个全连接层;
所述将所述第一训练编码向量输入所述解码器包括的所述至少两个标注分支层进行解码之前,还包括:
将所述第一训练编码向量输入所述解码器包括的所述全连接层进行转化处理,得到第二训练编码向量;
相应的,所述将所述第一训练编码向量输入所述解码器包括的所述至少两个标注分支层进行解码,包括:
将所述第二训练编码向量输入所述解码器包括的所述至少两个标注分支层进行解码。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110150250.3/1.html,转载请声明来源钻瓜专利网。





