[发明专利]一种翻译模型、一种数据处理方法在审
申请号: | 202111087963.6 | 申请日: | 2019-07-09 |
公开(公告)号: | CN113762408A | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 史红亮;李长亮;廖敏鹏 | 申请(专利权)人: | 北京金山数字娱乐科技有限公司;成都金山数字娱乐科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 刘晓楠 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 翻译 模型 数据处理 方法 | ||
本申请提供一种翻译模型、一种数据处理方法,所述翻译模型包括编码器和解码器,所述解码器中包括至少两个解码层,所述至少两个解码层中的至少一个解码层包括动态卷积层、多头注意力层和前馈网络层,其中,所述翻译模型被用于处理图片识别描述任务。
技术领域
本申请涉及计算机技术领域,特别涉及一种翻译模型、一种数据处理方法。
背景技术
在实际应用中,很多时候需要对图片进行识别描述,例如需要对图片进行分类时,就需要识别图片中的内容,例如是景物还是动物或者人物等。
在图片较少的时候,可以人工手动地对图片进行识别描述。但是随着网络科技的发展,图片数量急剧增加,当需要对海量图片进行识别描述时,手动处理方式变得过于不切实际。
那么,如何快速准确地对图片进行识别描述就变得尤为重要。
发明内容
有鉴于此,本申请实施例提供了一种翻译模型、一种数据处理方法,以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面,提供了一种翻译模型,包括编码器和解码器,所述解码器中包括至少两个解码层,所述至少两个解码层中的至少一个解码层包括动态卷积层、多头注意力层和前馈网络层,其中,所述翻译模型被用于处理图片识别描述任务。
可选的,所述动态卷积层、所述多头注意力层和所述前馈网络层顺次连接。
可选的,所述动态卷积层包括门控线性单元、动态卷积单元和轻量级卷积单元。
可选的,所述门控线性单元用于接收参考图片待解码矩阵,并根据所述参考图片待解码矩阵获取门控线性矩阵;
所述动态卷积单元用于接收所述门控线性矩阵,根据所述门控线性矩阵获取卷积权值;
所述轻量级卷积单元用于接收所述门控线性矩阵和所述卷积权值,经过轻量级卷积运算获取第一子层矩阵。
可选的,所述多头注意力层用于接收所述动态卷积层输出的第一子层矩阵和所述编码器输出的图片编码矩阵,经过多次自注意力计算得到第二子层矩阵。
可选的,所述前馈网络层用于接收所述多头注意力子层输出的第二子层矩阵,经过前馈计算获得第三子层矩阵,并对所述第三子层矩阵进行线性变换,获得图片解码矩阵。
可选的,所述编码器用于接收初始图片待编码矩阵,并对所述初始图片待编码矩阵进行编码,获得图片编码矩阵。
可选的,所述解码器包括6个解码层。
可选的,每个解码层均包括动态卷积层、多头注意力层和前馈网络层。
根据本申请实施例的第二方面,提供了一种数据处理方法,所述方法应用上述翻译模型,所述方法包括:
基于接收到的待识别图片,获得初始图片待编码矩阵;
将所述初始图片待编码矩阵输入至所述翻译模型的编码器进行编码,获得图片编码矩阵;
将所述图片编码矩阵输入至所述翻译模型的解码器进行解码,获得图片解码矩阵;
将所述图片解码矩阵经过归一化处理,输出所述图片解码矩阵的描述信息。
本申请提供的翻译模型,在准确高效的进行文字处理的同时还可以有效的结合图片的局部特征信息,提高图片识别的准确度,使得Transformer模型在图片识别描述任务中更快地生成更准确的图片描述。
附图说明
图1是本申请一实施例的计算设备的结构示意图;
图2是本申请一实施例的数据处理方法的流程示意图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司;成都金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司;成都金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111087963.6/2.html,转载请声明来源钻瓜专利网。