[发明专利]一种指代消解方法、装置、电子设备及介质有效
| 申请号: | 202110291727.X | 申请日: | 2021-03-18 |
| 公开(公告)号: | CN113011162B | 公开(公告)日: | 2023-07-28 |
| 发明(设计)人: | 郭梦非;张徵 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
| 主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/30;G06F40/242;G06F16/903;G06N3/084 |
| 代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 高莺然;马敬 |
| 地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 指代 消解 方法 装置 电子设备 介质 | ||
1.一种指代消解方法,其特征在于,所述方法包括:
识别待预测文本中的人名,将识别出的人名构建为候选集,所述待预测文本包括至少两个人名和一个第三人称代词;
从所述候选集中选择至少两个待预测人名,分别构建每个待预测人名对应的预测样本;其中,所述预测样本包括:样本标签和将所述待预测文本中的所述第三人称代词替换为第一数量个指定标识符后得到的文本,所述第一数量为所述预测样本对应的待预测人名包括的字数,所述预测样本包括的样本标签为所述预测样本对应的待预测人名;
将构建的各预测样本输入指代消解模型,并获取所述指代消解模型输出的所述第三人称代词指代每个样本标签的概率,将概率最高的样本标签确定为所述第三人称代词指代的人名;
其中,所述指代消解模型为基于样本训练集对神经网络模型进行训练得到的模型,所述样本训练集包括多组训练样本,每组训练样本包括正样本和负样本,所述正样本包括:正样本标签和将样本文本中的一个所述正样本标签替换为第二数量个指定字符后得到的文本,所述正样本标签为所述样本文本中出现至少两次的人名,所述第二数量为所述正样本标签对应的人名包括的字数;所述负样本包括:负样本标签和将所述样本文本中的一个所述正样本标签替换为第三数量个指定字符后得到的文本,所述负样本标签为所述样本文本中出现一次的人名,所述第三数量为所述样本文本中出现一次的人名包括的字数,所述样本文本中被替换的正样本标签位于所述样本文本包括的各人名第一次出现的位置之后;
所述样本训练集通过以下步骤构建:
选择预设文学作品中的一个句子作为目标句子;
将所述目标句子包括的字符数与预设长度阈值进行比较;
如果所述目标句子包括的字符数大于预设长度阈值,则将预设文学作品中与所述目标句子相邻的下一个句子作为目标句子,并返回将所述目标句子包括的字符数与预设长度阈值进行比较的步骤;
如果所述目标句子包括的字符数等于所述预设长度阈值,则在所述目标句子满足预设样本条件的情况下,将所述目标句子作为一个样本文本,并将预设文学作品中与所述目标句子相邻的下一个句子作为目标句子,并返回将所述目标句子包括的字符数与预设长度阈值进行比较的步骤;所述预设样本条件包括:样本文本中存在多个不同的人名,其中一个人名出现至少两次且其中一次出现位置位于所述多个不同的人名第一次出现的位置之后;
分别针对每个样本文本生成一组训练样本,得到所述样本训练集。
2.根据权利要求1所述的方法,其特征在于,所述指代消解模型通过以下步骤训练获得:
将所述样本训练集中的一组训练样本输入所述神经网络模型;
获取所述神经网络模型的输出结果,所述输出结果包括正样本中的指定标识符为正样本标签的概率以及负样本中的指定标识符为负样本标签的概率;
根据所述正样本中的指定标识符为正样本标签的概率以及所述负样本中的指定标识符为负样本标签的概率,计算损失函数值;
根据所述损失函数值,确定所述神经网络模型是否收敛;
若所述神经网络模型未收敛,则根据所述损失函数值更新所述神经网络模型的网络参数,并返回所述将所述样本训练集中的一组训练样本输入所述神经网络模型的步骤;
若所述神经网络模型收敛,则将当前的神经网络模型作为所述指代消解模型。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
如果所述目标句子包括的字符数小于所述预设长度阈值,则依次将所述预设文学作品中,所述目标句子之后的每个句子包括的字符数与所述目标句子包括的字符数进行累加,每累加一个句子包括的字符数,判断累加值是否大于或者等于所述预设长度阈值,直至得到的累加值大于或者等于所述预设长度阈值;
如果得到的累加值等于所述预设长度阈值,则将所述目标句子和累加的句子作为候选样本;或者,如果得到的累加值大于所述预设长度阈值,则将所述目标句子和累加的句子中除最后一个句子之外的句子作为候选样本;
在所述候选样本满足所述预设样本条件的情况下,将所述候选样本作为一个样本文本;并将预设文学作品中与所述候选样本相邻的下一个句子作为目标句子,并返回将所述目标句子包括的字符数与预设长度阈值进行比较的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110291727.X/1.html,转载请声明来源钻瓜专利网。





