[发明专利]一种基于双流网络的RGBD图像联合恢复方法有效
申请号: | 201911400820.9 | 申请日: | 2019-12-30 |
公开(公告)号: | CN111104532B | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 许勇;祝叶;李芃 | 申请(专利权)人: | 华南理工大学 |
主分类号: | G06F16/51 | 分类号: | G06F16/51;G06T5/00;G06N3/0464 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 陈宏升 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 双流 网络 rgbd 图像 联合 恢复 方法 | ||
1.一种基于双流网络的RGBD图像联合恢复方法,其特征在于,包括:
S1,获取用于训练和测试的RGBD图像数据库;
S2,将RGBD图像数据库划分为训练数据集及测试数据集,并对RGBD图像数据库的RGBD图像进行预处理;
步骤S2包括:
将RGBD图像数据库划分为训练数据集及测试数据集,将训练数据集中的深度图像及对应RGB图像作为一组;
对每组的RGB图像及深度图像进行裁剪为合适尺寸,并进行归一化处理;
根据训练数据集训练双流卷积网络模型的步骤包括:
S31,搭建双流卷积网络模型的网络结构:
S3101,输入深度图像D和RGB图像C;
S3102,将深度图像D输入归一化卷积层Nconv1,卷积核大小为3,步长为1,保持分辨率不变,再通过非线性激活得到特征图X1;
S3103,将特征图X1输入归一化卷积层Nconv2,卷积核大小为3,步长为1,保持分辨率不变,再通过非线性激活,得到特征图X2;
S3104,将特征图X2输入卷积层conv3,卷积核大小为3,步长为1,通过激活层得到特征图X3;
S3105,将特征图X3输入卷积层conv4,卷积核大小为3,步长为1,通过激活层得到特征图X4,特征图X4为深度图像提取得到的特征;
S3106,将RGB图像C输入ResBlock1,卷积核大小为3,步长为1,保持分辨率不变得到特征图Y1;
S3107,将特征图Y1输入ResBlock2,卷积核大小为3,步长为1,保持分辨率不变,得到特征图Y2;
S3108,将特征图Y2输入卷积层ResBlock3,卷积核大小为3,步长为1,保持分辨率不变得到特征图Y3;
S3109,将特征图Y3输入卷积层conv4,卷积核大小为3,步长为1,通过激活层得到特征图Y4,特征图Y4为RGB图像提取得到的特征;
S3110,将特征图X4和特征图Y4叠加输入到一个卷积组,该卷积组包含3个卷积核大小为3,步长为1的卷积层及对应的激活层,得到融合特征图F;
S3111,将融合特征F和深度图像特征X4叠加到一个卷积组,该卷积组包含4个卷积核大小为3,步长为1的卷积层及对应的激活层,得到复原的深度图像D’;
S3112,将融合特征F、深度图像特征X4和RGB图像特征Y4叠加到一个ResBlock组,该ResBlock组包含3个卷积核大小为3,步长为1的ResBlock及1个卷积核大小为3,步长为1的卷积层和对应激活层,得到复原的RGB图像C’;
S32,构造损失函数:
其中对于深度图像,采用了带有mask的内容损失函数和TV损失函数,其中内容损失函数定义如下:
其中i代表每个像素的下标,代表(D′(i)-Dg(i))的二范数的平方,M·N表示深度图像的大小,Dg是真实清晰的深度图像,D′是网络生成的深度图像,若maski=1成立,表示真实深度图像在该点存在值;若maski=1不成立,表示真实图像在该点不存在像素值,则在计算损失函数时不需要计入在内;深度图像的TV损失函数定义为如下:
其中和分别表示深度图像上在x放心及y方向上的梯度,M·N表示深度图像的大小;
对于RGB图像,采用了内容损失函数,其中内容损失函数定义如下:
其中i代表每个像素的下标,代表(C′(i)-Cg(i))的二范数的平方,M·N表示深度图像的大小,Cg是真实清晰的RGB图像,C′是网络生成的RGB图像;
此外为了更好的使生成的RGB图像保有清晰的边及减少生成RGB图像的响铃效应,设计了一种简单的梯度损失函数,其定义如下:
其中和分别表示RGB图像上在x放心及y方向上的梯度,代表的二范数的平方,代表的二范数的平方,M·N表示深度图像的大小,Cg是真实清晰的RGB图像,C′是网络生成的RGB图像;
此外还为RGB图像引入对抗损失函数,该对抗损失函数由RGB图像的生成对抗训练机制提供,其定义如下:
其中Dis表示判别器,Ger表示RGB图像生成器,C表示输入的RGB图像,D表示输入的深度图像,Cg表示真实清晰的RGB图像;
综上,双流卷积网络模型采用的损失函数构造如下:
L=Ldcont+λiLdTV+λ2Lccont+λ3Lcgrad+λ4Lcadv
其中λ1=λ3=1.1,λ2=1,λ4=0.55为各损失函数间的权重;
S3,根据训练数据集训练双流卷积网络模型,保存训练完成的网络参数;
S4,将测试数据集输入双流卷积网络模型进行联合恢复,并测试恢复程度;
步骤S4包括:
在测试数据集中读取RGBD图像数据,按照训练数据集的预处理方法对RGBD图像数据进行预处理;
将测试数据集的RGBD图像数据输入加载的双流卷积网络模型中,得到恢复的RGB图像和深度图像;
将恢复的RGB图像与真实清晰RGB图像进行对比,计算衡量指标PSNR;
将恢复的深度图像与真实深度图像进行对比,计算衡量指标RMSE。
2.根据权利要求1所述的基于双流网络的RGBD图像联合恢复方法,其特征在于,所述RGBD图像数据库在无人驾驶场景下的RGBD图像数据集KITTI depth competition数据集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911400820.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种离子发生装置电极间距的确定方法
- 下一篇:水体修复系统