[发明专利]基于深度融合的跨模态大数据检索方法及系统在审
| 申请号： | 202310149747.2 | 申请日： | 2023-02-21 |
| 公开（公告）号： | CN116108215A | 公开（公告）日： | 2023-05-12 |
| 发明（设计）人： | 吴珺;郑欣丽;袁子健;王江鹏;王春枝 | 申请（专利权）人： | 湖北工业大学 |
| 主分类号： | G06F16/53 | 分类号： | G06F16/53;G06F16/33;G06F18/214;G06F18/25 |
| 代理公司： | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人： | 罗飞 |
| 地址： | 430068 湖*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于深度融合的跨模态大数据检索方法及系统，系统包括：特征提取模块：将预处理后的文本模态输入BERT+BiLSTM网络进行特征提取，图像模态输入Vision Transformer网络进行特征提取；多模态融合模块：将文本和图像特征输入E‑DCCA网络进行多次全连接层的非线性变换，再进行相关性分析得到两种模态的相关性系数，并根据最高相关系数输出对应的图文表示对。本发明能有效提高工作人员对相关资料的检索效率，辅助该地区人民迅速了解当地发展状况，极大的减轻了人工的工作量，提高了人员的工作效率。在网络结构上，本发明能有效学习图像与文本双模态之间的相似性，实现图文跨模态检索，并加入极限学习机来提升网络泛化性能，解决模型过拟合问题。 | ||
| 搜索关键词： | 基于 深度 融合 跨模态大 数据 检索 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于湖北工业大学，未经湖北工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310149747.2/，转载请声明来源钻瓜专利网。
