[发明专利]一种机器阅读理解的数据处理方法、装置、设备及介质有效
| 申请号: | 202210217689.8 | 申请日: | 2022-03-08 |
| 公开(公告)号: | CN114328883B | 公开(公告)日: | 2022-06-28 |
| 发明(设计)人: | 娄东方;王炯亮;林金曙;陈春旭;张少杰 | 申请(专利权)人: | 恒生电子股份有限公司 |
| 主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F40/126;G06F40/30;G06N20/00 |
| 代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 张文娥 |
| 地址: | 310053 浙江省杭州市*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 机器 阅读 理解 数据处理 方法 装置 设备 介质 | ||
1.一种机器阅读理解的数据处理方法,其特征在于,所述方法包括:
将与样本问题对应的样本上下文进行切分,得到样本句子集合,所述样本句子集合中包括多个样本句子;
将所述样本问题添加到所述样本句子集合中,得到训练样本的特征,所述特征中的第一个句子为所述样本问题,所述特征中除所述第一个句子之外的其他句子为所述样本句子集合中的样本句子;
根据所述样本问题对应的所述样本上下文中的样本答案集合,构建所述训练样本的标签,所述样本答案集合包括:无样本答案或至少一个样本答案,包括至少一个样本答案的样本答案集合对应的标签包括:样本答案起始位置、样本答案终止位置以及样本答案内容;
将所述训练样本的特征和标签输入初始机器阅读理解模型中,训练得到目标机器阅读理解模型。
2.根据权利要求1所述的方法,其特征在于,所述将与样本问题对应的样本上下文进行切分,得到样本句子集合,包括:
对所述样本上下文中的目标结尾符号进行识别,得到所述目标结尾符号在所述样本上下文的位置信息;
根据所述目标结尾符号在所述样本上下文的位置信息对所述样本上下文进行切分,得到初始样本句子集合,所述初始样本句子集合中包括多个初始样本句子;
根据所述初始机器阅读理解模型对应的设置参数对所述初始样本句子集合中的初始样本句子进行处理,得到样本句子集合,所述设置参数包括样本句子的限定长度和/或样本句子的限定数量。
3.根据权利要求1所述的方法,其特征在于,所述将所述训练样本的特征和标签输入初始机器阅读理解模型中,训练得到目标机器阅读理解模型,包括:
将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层,由所述编码层对所述训练样本的特征和标签进行编码后,得到训练样本向量,所述训练样本向量包括特征向量、标签向量;
基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对所述初始机器阅读理解模型进行训练,得到所述目标机器阅读理解模型。
4.根据权利要求3所述的方法,其特征在于,所述编码层包括句子编码器、上下文编码器,所述句子编码器与所述上下文编码器连接;
所述将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层,由所述编码层对所述训练样本的特征和标签进行编码后,得到训练样本向量,包括:
将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的所述句子编码器,由所述句子编码层编码后得到句子向量集合,所述句子向量集合由样本问题向量以及多个样本句子向量组成;
将所述句子向量集合输入至所述上下文编码器,由所述上下文编码器交互编码后得到句子语义向量集合,所述句子语义向量集合中包括:所述样本问题对应的样本问题语义向量以及各样本句子向量对应的样本句子语义向量,各样本句子语义向量组成目标上下文向量;
根据所述句子语义向量集合,更新所述句子向量集合。
5.根据权利要求4所述的方法,其特征在于,所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前,所述方法还包括:
将所述目标上下文向量依次输入至所述初始机器阅读理解模型中的初始第一全连接层以及初始第一激活层,得到有答案概率;
获取有无答案标识,所述有无答案标识为有答案标识或无答案标识;
根据有无答案损失函数确定所述有无答案损失值,所述有无答案损失函数中至少包括:有答案概率和有无答案标识。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于恒生电子股份有限公司,未经恒生电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210217689.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据处理方法、计算机设备及可读存储介质
- 下一篇:高空抛物检测方法及装置





