[发明专利]红外与可见光图像融合的双分支卷积神经网络装置有效
申请号: | 202110660293.6 | 申请日: | 2021-06-15 |
公开(公告)号: | CN113379661B | 公开(公告)日: | 2023-03-07 |
发明(设计)人: | 刘国栋;吴小龑;胡流森;袁红;朱嘉辉;杨晓敏 | 申请(专利权)人: | 中国工程物理研究院流体物理研究所;四川大学 |
主分类号: | G06T5/50 | 分类号: | G06T5/50;G06V10/80;G06V10/82;G06N3/0464;G06N3/08 |
代理公司: | 成都行之专利代理事务所(普通合伙) 51220 | 代理人: | 王鹏程 |
地址: | 621000*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 红外 可见光 图像 融合 分支 卷积 神经网络 装置 | ||
1.红外与可见光图像融合的双分支卷积神经网络装置,其特征在于,双分支卷积神经网络装置包括级联模块、低频融合模块、高频融合模块以及融合模块;
所述级联模块,用于将红外图像和可见光图像在颜色通道上进行级联,得到级联图像;
所述低频融合模块,用于学习所述级联图像的局部特征,得到低频融合图像;
所述高频融合模块,用于学习所述级联图像的全局特征,得到高频融合图像;
所述融合模块,用于根据所述低频融合图像和所述高频融合图像构建融合图像;
所述低频融合模块包括低频浅层特征提取单元、深层特征提取单元、上采样单元以及低频重建单元;
所述低频浅层特征提取单元,用于提取所述级联图像的浅层特征;
所述深层特征提取单元,用于提取所述浅层特征的深层特征;
所述上采样单元,用于调整所述深层特征的尺寸,直至所述深层特征的尺寸与所述级联图像的尺寸一致;
所述低频重建单元,用于将所述深层特征构建为所述低频融合图像;
所述深层特征提取单元包括3个卷积层,任意一个所述卷积层的卷积核大小为3×3,步长为2;
所述高频融合模块包括高频浅层特征提取单元、局部残差特征提取单元、全局特征提取单元以及高频重建单元;
所述高频浅层特征提取单元,用于提取所述级联图像的浅层特征;
所述局部残差特征提取单元,用于从所述浅层特征中提取出不同层次的特征,并将不同层次的特征进行维度连接;
所述全局特征提取单元,用于根据维度连接后的不同层次的特征获取所述级联图像的全局特征;
所述高频重建单元,用于根据所述全局特征构建所述高频融合图像;
所述局部残差特征提取单元包括第一残差密集块、第二残差密集块、第三残差密集块、第四残差密集块以及维度连接块;
所述第一残差密集块,用于从所述浅层特征中提取出第一局部残差特征,并将所述第一局部残差特征传输至所述第二残差密集块和所述维度连接块;
所述第二残差密集块,用于从所述第一局部残差特征中提取出第二局部残差特征,并将所述第二局部残差特征传输至所述第三残差密集块和所述维度连接块;
所述第三残差密集块,用于从所述第二局部残差特征中提取出第三局部残差特征,并将所述第三局部残差特征传输至所述第四残差密集块和所述维度连接块;
所述第四残差密集块,用于从所述第三局部残差特征中提取出第四局部残差特征,并将所述第四局部残差特征传输至所述维度连接块;
所述维度连接块,用于将所述第一局部残差特征、所述第二局部残差特征、所述第三局部残差特征以及所述第四局部残差特征进行维度连接。
2.根据权利要求1中所述的红外与可见光图像融合的双分支卷积神经网络装置,其特征在于,所述融合模块包括融合单元和参数生成单元;
所述融合单元,用于将所述低频融合图像和所述高频融合图像进行相加,得到所述融合图像;
所述参数生成单元,用于根据所述融合图像获取所述低频融合模块和所述高频融合模块中的网络参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工程物理研究院流体物理研究所;四川大学,未经中国工程物理研究院流体物理研究所;四川大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110660293.6/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序