[发明专利]一种机器阅读理解的实现方法、系统、设备及介质在审
申请号: | 202111558230.6 | 申请日: | 2021-12-17 |
公开(公告)号: | CN114239599A | 公开(公告)日: | 2022-03-25 |
发明(设计)人: | 陈家豪;徐亮 | 申请(专利权)人: | 深圳壹账通智能科技有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/247;G06F16/35;G06N3/04;G06N3/08 |
代理公司: | 上海汉之律师事务所 31378 | 代理人: | 周婷婷 |
地址: | 518066 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 机器 阅读 理解 实现 方法 系统 设备 介质 | ||
1.一种机器阅读理解的实现方法,其特征在于,包括:
获取待识别文本,所述待识别文本包括文章、标题和问题;
依次提取文章、标题和问题的表征向量;
通过注意力机制处理标题和问题的表征向量,生成携带有标题信息的问题表征向量,将所述问题表征向量输入预训练的分类器中,判断文章中是否存在答案;
若存在答案,则通过注意力机制处理文章和问题的表征向量,生成携带有问题信息的文章表征向量;
将所述文章表征向量输入预训练的指针网络中,得到对应的答案。
2.根据权利要求1所述的实现方法,其特征在于,所述依次提取文章、标题和问题的表征向量的步骤包括:
将文章、标题和问题以文本形式分别输入Roberta模型中,提取Roberta模型的输出作为文章、标题和问题的表征向量。
3.根据权利要求1所述的实现方法,其特征在于,所述通过注意力机制处理标题和问题的表征向量,生成携带有标题信息的问题表征向量的步骤包括:
利用标题和问题之间的注意力机制,分别为标题和问题的表征向量分配注意力权重,生成第一注意力矩阵和第二注意力矩阵;
根据标题和问题的表征向量、第一注意力矩阵和第二注意力矩阵,得到标题和问题的加权向量;
拼接问题的表征向量、标题和问题的加权向量,得到问题表征向量。
4.根据权利要求1所述的实现方法,其特征在于,所述通过注意力机制处理文章和问题的表征向量,生成携带有问题信息的文章表征向量的步骤包括:
利用文章和问题之间的注意力机制,分别为文章和问题的表征向量分配注意力权重,生成第三注意力矩阵和第四注意力矩阵;
根据文章和问题的表征向量、第三注意力矩阵和第四注意力矩阵,得到文章和问题的加权向量;
拼接文章的表征向量、文章和问题的加权向量,得到文章表征向量。
5.根据权利要求1所述的实现方法,其特征在于,所述分类器和所述指针网络是通过预处理的训练样本集训练得到,预处理包括:数据分析、数据扩增处理、筛选数据,其中,数据扩增处理包括词汇替换、短语替换、否定替换及顺序替换中的任意一种或多种。
6.根据权利要求5所述的实现方法,其特征在于,所述将所述问题表征向量输入预训练的分类器中,判断文章中是否存在答案的步骤包括:
将所述问题表征向量输入预训练的BiLSTM分类器中,得到分类概率,若分类概率大于预设阈值,则认为文章中存在答案。
7.根据权利要求5所述的实现方法,其特征在于,所述将所述文章表征向量输入预训练的指针网络中,得到对应的答案的步骤包括:
指针网络根据文章表征向量,得到文章中该问题对应的起始位置的第一概率和结束位置的第二概率,将第一概率大于第一预设阈值的起始位置作为答案的起点,将第二概率大于第二预设阈值的结束位置作为答案的终点。
8.一种机器阅读理解的实现系统,其特征在于,包括:
文本获取模块,用于获取待识别文本,所述待识别文本包括文章、标题和问题;
特征提取模块,用于提取每个待识别文本中的文章、标题和问题的表征向量;
特征处理模块,用于根据标题和问题的表征向量,生成携带有标题信息的问题表征向量;还用于根据文章和问题的表征向量,生成携带有问题信息的文章表征向量;
分类模块,用于将所述问题表征向量输入预训练的分类器中,判断文章中是否存在答案;
预测模块,用于在存在答案时,将所述文章表征向量输入预训练的指针网络中,得到对应的答案。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的实现方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的实现方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司,未经深圳壹账通智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111558230.6/1.html,转载请声明来源钻瓜专利网。