[发明专利]基于位置引导Transformer的图像描述生成方法、装置和计算机设备在审
| 申请号： | 202210550930.9 | 申请日： | 2022-05-18 |
| 公开（公告）号： | CN114782698A | 公开（公告）日： | 2022-07-22 |
| 发明（设计）人： | 杨有;胡峻滔;姚露;安永志;潘龙越;郝子娴 | 申请（专利权）人： | 重庆师范大学 |
| 主分类号： | G06V10/40 | 分类号： | G06V10/40;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 北京康达联禾知识产权代理事务所(普通合伙) 11461 | 代理人： | 何浩 |
| 地址： | 400000 重*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及计算机视觉和自然语言处理技术领域，公开了一种基于位置引导Transformer的图像描述生成方法，包括：提取图像的网格特征并进行扁平化处理得到输入向量；计算相对位置编码和绝对位置编码；将上述向量和编码输入预设的位置引导Transformer模型，得到描述图像的语句；位置引导Transformer模型包括编码器和解码器，其均由多个堆叠的注意力块组成，编码器的每个注意力块包括双位置注意力层和前馈神经网络，解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。本发明提供的基于位置引导Transformer的图像描述生成方法、装置和计算机设备，将绝对位置编码和相对位置编码同时引入自注意力模块，并在其内部对图像特征进行组归一化，提高了模型的表现力。 | ||
| 搜索关键词： | 基于 位置 引导 transformer 图像 描述 生成 方法 装置 计算机 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆师范大学，未经重庆师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210550930.9/，转载请声明来源钻瓜专利网。
- 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
- 一种基于Transformer模型自然场景文字识别方法
- 一种深度Transformer级联神经网络模型压缩算法
- 点云分割方法、系统、介质、计算机设备、终端及应用
- 基于Transformer的中文智能对话方法
- 一种基于改进Transformer模型的飞行器故障诊断方法和系统
- 一种基于Transformer模型的机器翻译模型优化方法
- 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
- 基于U-Transformer多层次特征重构的异常检测方法及系统
- 基于EfficientDet和Transformer的航空图像中的飞机检测方法
