[发明专利]一种基于多方向卷积神经网络的多光谱图像压缩方法及系统在审
申请号: | 202110829480.2 | 申请日: | 2021-07-22 |
公开(公告)号: | CN113554720A | 公开(公告)日: | 2021-10-26 |
发明(设计)人: | 孔繁锵;张宁;胡可迪;曹童波 | 申请(专利权)人: | 南京航空航天大学 |
主分类号: | G06T9/00 | 分类号: | G06T9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人: | 王安琪 |
地址: | 210016 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多方 卷积 神经网络 光谱 图像 压缩 方法 系统 | ||
1.一种基于多方向卷积神经网络的多光谱图像压缩方法,其特征在于,包括如下步骤:
(1)构建多光谱图像压缩网络并对其进行训练,优化网络参数,获得最优的多光谱图像压缩网络模型;
(2)将待压缩的多光谱图像送入多光谱图像压缩网络,通过多方向卷积从不同方向分别提取图像的光谱特征与空间特征,并经过降维、融合后使用下采样减小特征图的尺寸,通过量化模块去除数据冗余,将量化后的特征数据进行无损熵编码得到用于传输和存储的压缩码流;
(3)对接收到的压缩码流进行熵解码和逆量化,获得多光谱图像谱空特征数据,再输入反向解码网络,先通过上采样恢复特征图尺寸,再通过反向解码网络恢复相应谱间及空间特征,并降维、融合后得到重构的多光谱图像,通过改变参数训练得到不同的网络模型,实现多光谱图像的多码率压缩。
2.如权利要求1所述的基于多方向卷积神经网络的多光谱图像压缩方法,其特征在于,步骤(1)中,多光谱图像压缩网络中使用线性整流函数,线性整流函数表达式为:
ReLU(xi)=max(0,xi)
其中xi为第i个通道的数据,该函数将输入分两个段进行映射,当输入值小于0时,则将原值映射为0,若输入值大于0则按照原值传递,由导数看出,在反向计算时,梯度没有损失。
3.如权利要求1所述的基于多方向卷积神经网络的多光谱图像压缩方法,其特征在于,步骤(2)中,对量化函数进行近似处理,公式如下:
Xq=round[(2q-1)×Xs]
其中Xs为经过前向编码网络提取且经过Sigmoid函数归一化之后得到的中间特征数据,q为量化级,近似处理过的量化函数在正向传播时将数据四舍五入,而在反向传播时则跳过量化层,将梯度直接传递给前一层。
4.如权利要求1所述的基于多方向卷积神经网络的多光谱图像压缩方法,其特征在于,步骤(3)中,实现多光谱图像的多码率压缩有两种方式:
(a)固定率失真优化中的惩罚权重λ,通过改变中间卷积层神经元的个数,训练得到不同码率的压缩网络,神经元个数越少则得到码率越小;
(b)固定中间卷积层神经元的个数,通过改变率失真优化中的惩罚权重λ的取值,训练得到不同码率的压缩网络,λ越大则得到码率越小。
5.一种如权利要求1所述的基于多方向卷积神经网络的多光谱图像压缩方法的实现系统,其特征在于,包括:前向编码网络、量化模块、熵编码模块、熵解码模块、逆量化模块、反向解码网络;前向编码网络包括谱间/空间多方向卷积提取模块、提取特征融合模块、下采样模块;反向编码网络包括上采样模块、谱间/空间方向多方向卷积恢复模块和恢复特征融合模块;
谱间/空间多方向卷积提取模块分别从不同方向卷积提取多光谱图像的谱间特征和空间特征;提取特征融合模块对提取到的空间特征进行逐像素融合并降维后,与同样降维后的谱间特征并联连接得到特征图;下采样模块减小特征图尺寸;量化模块和熵编码模块通过对特征图进行量化和熵编码得到用于传输和存储的压缩码流;熵解码模块和逆量化模块对压缩码流进行熵解码和逆量化,获得多光谱图像的特征数据;上采样模块恢复特征图尺寸;谱间/空间多方向卷积恢复模块恢复特征图的相应特征;恢复特征融合模块将空间特征逐像素融合并降维后与同样降维后的谱间特征并联连接,得到重构的多光谱图像。
6.如权利要求5所述的基于多方向卷积神经网络的多光谱图像压缩系统,其特征在于,前向编码网络包含8个谱间方向卷积模块,8个空间方向1卷积模块,8个空间方向2卷积模块,3个下采样模块;下采样操作使用步长为2,卷积核大小为4×4的卷积层。
7.如权利要求5所述的基于多方向卷积神经网络的多光谱图像压缩系统,其特征在于,还包括率失真优化模块;率失真优化模块采用将中间特征数据的熵值引入压缩网络的损失函数计算中,通过训练不断优化光谱特征与空间特征数据的分布,使之更加紧凑,损失函数表示为:
L=Ld+λLr
其中,Ld为失真损失,采用均方误差MSE来表示;λ是惩罚权重,用来显式控制码率;Lr是量化后特征图数据的熵近似值,反映中间特征数据的分布集中情况;
Ld的计算公式:
其中,I表示输入图像,表示压缩网络恢复图像,N表示批处理的数据大小,H、W、C分别表示输入图像的高度、宽度以及通道数;
Lr的计算公式:
Lr=-Ε[log2 Pq]
其中,
Pd(x)是中间数据的概率密度函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京航空航天大学,未经南京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110829480.2/1.html,转载请声明来源钻瓜专利网。