[发明专利]一种基于类别信息对齐的图像文本跨模态检索方法有效
| 申请号： | 202110223858.4 | 申请日： | 2021-03-01 |
| 公开（公告）号： | CN113010700B | 公开（公告）日： | 2022-03-25 |
| 发明（设计）人： | 杨阳;王威扬;何仕远 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06F16/432 | 分类号： | G06F16/432;G06F16/48;G06N3/04;G06N3/08;G06T9/00 |
| 代理公司： | 成都行之专利代理事务所(普通合伙) 51220 | 代理人： | 温利平 |
| 地址： | 611731 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于类别信息对齐的图像文本跨模态检索方法，其目的是保持不同语义类别实例(图像文本)之间的区分，同时消除异构性差异。为了实现这一目的，本发明创新性地在公共表示空间即图像文本公共空间中引入类别信息来最小化区分损失，并引入跨模态损失来对齐不同的模态信息。此外，本发明还采用类别信息嵌入的方法来生成假特征，而不是像其他基于DNN的方法那样标记信息，同时，本发明在类别公共空间中最小化模态不变性损失来学习模态不变性特征。在这种学习策略的指导下，本发明尽可能充分利用图像‑文本耦合项的成对相似性语义信息，保证了所学习的表示既具有语义结构的区分性，又具有跨模态的不变性。 | ||
| 搜索关键词： | 一种 基于 类别 信息 对齐 图像 文本 跨模态 检索 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110223858.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种图像检测装置及运用图像检测装置的检测方法
- 下一篇：一种细胞地图系统
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端，信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置
