[发明专利]信息处理方法、装置、计算机设备和存储介质有效
申请号: | 201810566917.6 | 申请日: | 2018-06-05 |
公开(公告)号: | CN108776832B | 公开(公告)日: | 2021-08-24 |
发明(设计)人: | 姜文浩;马林;刘威;张潼 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 何平;邓云鹏 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 信息处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种信息处理方法,所述方法包括:
获取待处理原始数据;
将所述待处理原始数据输入到已训练的机器学习模型的编码模型中,得到对应的编码向量;
将所述编码向量输入到所述机器学习模型的中间处理模型中,得到中间向量序列,其中,所述中间处理模型包括多个子学习模型,各个子学习模型包括多个循环神经网络单元,当前循环神经网络单元的输出是根据前向循环神经网络单元对应的第一输出向量以及所述当前循环神经网络单元对应的前向子学习模型输出的前向向量序列得到的;
将所述中间向量序列输入到所述机器学习模型的解码模型中,得到所述待处理原始数据对应的目标输出数据。
2.根据权利要求1所述的方法,其特征在于,所述当前循环神经网络单元的输出通过以下步骤得到:
获取前向循环神经网络单元对应的第一输出向量,获取所述当前循环神经网络单元对应的前向子学习模型输出的前向向量序列;
确定所述前向向量序列中的各个前向向量对应的第一注意力分配权重系数;
根据所述前向向量以及对应的第一注意力分配权重系数确定所述前向向量序列对应的第一注意力向量;
将所述第一输出向量以及所述第一注意力向量输入到所述当前循环神经网络单元中,得到对应的当前输出向量。
3.根据权利要求2所述的方法,其特征在于,所述确定所述前向向量序列中的各个前向向量对应的第一注意力分配权重系数包括:
分别计算所述各个前向向量与所述第一输出向量对应的相关度;
根据所述各个前向向量与所述第一输出向量对应的相关度计算得到所述各个前向向量对应的第一注意力分配权重系数。
4.根据权利要求2所述的方法,其特征在于,所述将所述待处理原始数据输入到已训练的机器学习模型的编码模型中,得到对应的编码向量包括:
对所述待处理原始数据进行分割,得到所述待处理原始数据对应的分割数据序列;
将所述分割数据序列输入到所述编码模型中,得到所述各个分割数据对应的编码向量;
所述方法还包括:
确定所述各个分割数据对应的编码向量对应的第二注意力分配权重系数;
根据所述各个编码向量以及对应的第二注意力分配权重系数确定第二注意力向量;
所述将所述第一输出向量以及所述第一注意力向量输入到所述当前神经网络单元中,得到对应的当前输出向量包括:
将所述第一输出向量、所述第一注意力向量以及所述第二注意力向量输入到当前神经网络单元中,得到当前输出向量。
5.根据权利要求1所述的方法,其特征在于,所述将所述编码向量输入到所述机器学习模型的中间处理模型中,得到中间向量序列包括:
获取所述中间处理模型最后一个子学习模型中各个循环神经网络单元对应的输出向量,将所述最后一个子学习模型中各个循环神经网络单元的输出向量组成所述中间向量序列。
6.根据权利要求1所述的方法,其特征在于,所述前向循环神经网络单元对应的第一输出向量的获取步骤包括:
获取与当前子学习模型连接的上一个子学习模型中尾部神经网络单元对应的第一单元输出向量,所述当前子学习模型为所述前向循环神经网络单元所在的子学习模型;
在所述当前子学习模型中获取所述前向循环神经网络单元对应的前向神经网络单元对应的第二单元输出向量;
根据所述第一单元输出向量和所述第二单元输出向量得到所述第一输出向量。
7.根据权利要求1所述的方法,其特征在于,所述目标输出数据为目标词序列,所述将所述中间向量序列输入到所述机器学习模型的解码模型中,得到所述待处理原始数据对应的目标输出数据包括:
确定所述中间向量序列对应的中间向量对应的第三注意力分配权重系数;
根据所述各个中间向量以及对应的第三注意力分配权重系数确定第三注意力向量;
将所述解码模型上一时刻的输出词对应的词向量以及所述第三注意力向量输入到所述解码模型中,得到所述解码模型在当前时刻的当前输出词;
根据所述解码模型在各个时刻的输出词以及输出顺序得到目标词序列,作为所述待处理原始数据对应的目标输出数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810566917.6/1.html,转载请声明来源钻瓜专利网。