[发明专利]红外与可见光图像融合的双分支卷积神经网络装置有效

专利信息
申请号: 202110660293.6 申请日: 2021-06-15
公开(公告)号: CN113379661B 公开(公告)日: 2023-03-07
发明(设计)人: 刘国栋;吴小龑;胡流森;袁红;朱嘉辉;杨晓敏 申请(专利权)人: 中国工程物理研究院流体物理研究所;四川大学
主分类号: G06T5/50 分类号: G06T5/50;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
代理公司: 成都行之专利代理事务所(普通合伙) 51220 代理人: 王鹏程
地址: 621000*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 红外 可见光 图像 融合 分支 卷积 神经网络 装置
【权利要求书】:

1.红外与可见光图像融合的双分支卷积神经网络装置,其特征在于,双分支卷积神经网络装置包括级联模块、低频融合模块、高频融合模块以及融合模块;

所述级联模块,用于将红外图像和可见光图像在颜色通道上进行级联,得到级联图像;

所述低频融合模块,用于学习所述级联图像的局部特征,得到低频融合图像;

所述高频融合模块,用于学习所述级联图像的全局特征,得到高频融合图像;

所述融合模块,用于根据所述低频融合图像和所述高频融合图像构建融合图像;

所述低频融合模块包括低频浅层特征提取单元、深层特征提取单元、上采样单元以及低频重建单元;

所述低频浅层特征提取单元,用于提取所述级联图像的浅层特征;

所述深层特征提取单元,用于提取所述浅层特征的深层特征;

所述上采样单元,用于调整所述深层特征的尺寸,直至所述深层特征的尺寸与所述级联图像的尺寸一致;

所述低频重建单元,用于将所述深层特征构建为所述低频融合图像;

所述深层特征提取单元包括3个卷积层,任意一个所述卷积层的卷积核大小为3×3,步长为2;

所述高频融合模块包括高频浅层特征提取单元、局部残差特征提取单元、全局特征提取单元以及高频重建单元;

所述高频浅层特征提取单元,用于提取所述级联图像的浅层特征;

所述局部残差特征提取单元,用于从所述浅层特征中提取出不同层次的特征,并将不同层次的特征进行维度连接;

所述全局特征提取单元,用于根据维度连接后的不同层次的特征获取所述级联图像的全局特征;

所述高频重建单元,用于根据所述全局特征构建所述高频融合图像;

所述局部残差特征提取单元包括第一残差密集块、第二残差密集块、第三残差密集块、第四残差密集块以及维度连接块;

所述第一残差密集块,用于从所述浅层特征中提取出第一局部残差特征,并将所述第一局部残差特征传输至所述第二残差密集块和所述维度连接块;

所述第二残差密集块,用于从所述第一局部残差特征中提取出第二局部残差特征,并将所述第二局部残差特征传输至所述第三残差密集块和所述维度连接块;

所述第三残差密集块,用于从所述第二局部残差特征中提取出第三局部残差特征,并将所述第三局部残差特征传输至所述第四残差密集块和所述维度连接块;

所述第四残差密集块,用于从所述第三局部残差特征中提取出第四局部残差特征,并将所述第四局部残差特征传输至所述维度连接块;

所述维度连接块,用于将所述第一局部残差特征、所述第二局部残差特征、所述第三局部残差特征以及所述第四局部残差特征进行维度连接。

2.根据权利要求1中所述的红外与可见光图像融合的双分支卷积神经网络装置,其特征在于,所述融合模块包括融合单元和参数生成单元;

所述融合单元,用于将所述低频融合图像和所述高频融合图像进行相加,得到所述融合图像;

所述参数生成单元,用于根据所述融合图像获取所述低频融合模块和所述高频融合模块中的网络参数。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工程物理研究院流体物理研究所;四川大学,未经中国工程物理研究院流体物理研究所;四川大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110660293.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top