[发明专利]基于推敲注意力机制的图像描述生成系统及方法有效
| 申请号： | 201910004805.6 | 申请日： | 2019-01-03 |
| 公开（公告）号： | CN109726696B | 公开（公告）日： | 2023-04-07 |
| 发明（设计）人： | 宋井宽;樊凯旋;高联丽 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06V20/20 | 分类号： | G06V20/20;G06V10/774;G06V30/262 |
| 代理公司： | 成都希盛知识产权代理有限公司 51226 | 代理人： | 陈泽斌 |
| 地址： | 611731 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及图像理解领域，其公开了一种基于推敲注意力机制的图像描述生成系统及方法，解决现有图像描述方案存在的缺少润色过程、训练和测试过程不一致、生成描述辨识度不高的问题。该方法包括：a.数据集的处理：提取图像的全局特征和局部特征，构建数据集，对数据集中的单词进行标记，生成对应的词嵌入向量；b.训练图像描述生成模型：采用第一层基于残差注意力机制的解码器生成粗略的图像描述，采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色；c.结合强化学习进一步训练模型：在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。 | ||
| 搜索关键词： | 基于 推敲 注意力 机制 图像 描述 生成 系统 方法 | ||
【主权项】：
1.基于推敲注意力机制的图像描述生成系统，其特征在于，包括：编码器、基于推敲注意力机制的解码器和增强学习模块；所述编码器，用于采用预训练好的ResNet‑101来提取图像的全局特征，结合预训练好的Faster R‑CNN和ResNet‑101来提取局部特征；所述基于推敲注意力机制的解码器，包括两层基于残差注意力机制的解码器，其中，第一层解码器用于生成粗略的图像描述，第二层解码器应用校正的过程来润色第一层解码器已生成的图像描述；所述增强学习模块，用于在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910004805.6/，转载请声明来源钻瓜专利网。
