[发明专利]一种基于双流网络的RGBD图像联合恢复方法有效

专利信息
申请号: 201911400820.9 申请日: 2019-12-30
公开(公告)号: CN111104532B 公开(公告)日: 2023-04-25
发明(设计)人: 许勇;祝叶;李芃 申请(专利权)人: 华南理工大学
主分类号: G06F16/51 分类号: G06F16/51;G06T5/00;G06N3/0464
代理公司: 广州市华学知识产权代理有限公司 44245 代理人: 陈宏升
地址: 510640 广*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 双流 网络 rgbd 图像 联合 恢复 方法
【权利要求书】:

1.一种基于双流网络的RGBD图像联合恢复方法,其特征在于,包括:

S1,获取用于训练和测试的RGBD图像数据库;

S2,将RGBD图像数据库划分为训练数据集及测试数据集,并对RGBD图像数据库的RGBD图像进行预处理;

步骤S2包括:

将RGBD图像数据库划分为训练数据集及测试数据集,将训练数据集中的深度图像及对应RGB图像作为一组;

对每组的RGB图像及深度图像进行裁剪为合适尺寸,并进行归一化处理;

根据训练数据集训练双流卷积网络模型的步骤包括:

S31,搭建双流卷积网络模型的网络结构:

S3101,输入深度图像D和RGB图像C;

S3102,将深度图像D输入归一化卷积层Nconv1,卷积核大小为3,步长为1,保持分辨率不变,再通过非线性激活得到特征图X1;

S3103,将特征图X1输入归一化卷积层Nconv2,卷积核大小为3,步长为1,保持分辨率不变,再通过非线性激活,得到特征图X2;

S3104,将特征图X2输入卷积层conv3,卷积核大小为3,步长为1,通过激活层得到特征图X3;

S3105,将特征图X3输入卷积层conv4,卷积核大小为3,步长为1,通过激活层得到特征图X4,特征图X4为深度图像提取得到的特征;

S3106,将RGB图像C输入ResBlock1,卷积核大小为3,步长为1,保持分辨率不变得到特征图Y1;

S3107,将特征图Y1输入ResBlock2,卷积核大小为3,步长为1,保持分辨率不变,得到特征图Y2;

S3108,将特征图Y2输入卷积层ResBlock3,卷积核大小为3,步长为1,保持分辨率不变得到特征图Y3;

S3109,将特征图Y3输入卷积层conv4,卷积核大小为3,步长为1,通过激活层得到特征图Y4,特征图Y4为RGB图像提取得到的特征;

S3110,将特征图X4和特征图Y4叠加输入到一个卷积组,该卷积组包含3个卷积核大小为3,步长为1的卷积层及对应的激活层,得到融合特征图F;

S3111,将融合特征F和深度图像特征X4叠加到一个卷积组,该卷积组包含4个卷积核大小为3,步长为1的卷积层及对应的激活层,得到复原的深度图像D’;

S3112,将融合特征F、深度图像特征X4和RGB图像特征Y4叠加到一个ResBlock组,该ResBlock组包含3个卷积核大小为3,步长为1的ResBlock及1个卷积核大小为3,步长为1的卷积层和对应激活层,得到复原的RGB图像C’;

S32,构造损失函数:

其中对于深度图像,采用了带有mask的内容损失函数和TV损失函数,其中内容损失函数定义如下:

其中i代表每个像素的下标,代表(D′(i)-Dg(i))的二范数的平方,M·N表示深度图像的大小,Dg是真实清晰的深度图像,D′是网络生成的深度图像,若maski=1成立,表示真实深度图像在该点存在值;若maski=1不成立,表示真实图像在该点不存在像素值,则在计算损失函数时不需要计入在内;深度图像的TV损失函数定义为如下:

其中和分别表示深度图像上在x放心及y方向上的梯度,M·N表示深度图像的大小;

对于RGB图像,采用了内容损失函数,其中内容损失函数定义如下:

其中i代表每个像素的下标,代表(C′(i)-Cg(i))的二范数的平方,M·N表示深度图像的大小,Cg是真实清晰的RGB图像,C′是网络生成的RGB图像;

此外为了更好的使生成的RGB图像保有清晰的边及减少生成RGB图像的响铃效应,设计了一种简单的梯度损失函数,其定义如下:

其中和分别表示RGB图像上在x放心及y方向上的梯度,代表的二范数的平方,代表的二范数的平方,M·N表示深度图像的大小,Cg是真实清晰的RGB图像,C′是网络生成的RGB图像;

此外还为RGB图像引入对抗损失函数,该对抗损失函数由RGB图像的生成对抗训练机制提供,其定义如下:

其中Dis表示判别器,Ger表示RGB图像生成器,C表示输入的RGB图像,D表示输入的深度图像,Cg表示真实清晰的RGB图像;

综上,双流卷积网络模型采用的损失函数构造如下:

L=LdcontiLdTV2Lccont3Lcgrad4Lcadv

其中λ1=λ3=1.1,λ2=1,λ4=0.55为各损失函数间的权重;

S3,根据训练数据集训练双流卷积网络模型,保存训练完成的网络参数;

S4,将测试数据集输入双流卷积网络模型进行联合恢复,并测试恢复程度;

步骤S4包括:

在测试数据集中读取RGBD图像数据,按照训练数据集的预处理方法对RGBD图像数据进行预处理;

将测试数据集的RGBD图像数据输入加载的双流卷积网络模型中,得到恢复的RGB图像和深度图像;

将恢复的RGB图像与真实清晰RGB图像进行对比,计算衡量指标PSNR;

将恢复的深度图像与真实深度图像进行对比,计算衡量指标RMSE。

2.根据权利要求1所述的基于双流网络的RGBD图像联合恢复方法,其特征在于,所述RGBD图像数据库在无人驾驶场景下的RGBD图像数据集KITTI depth competition数据集。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911400820.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top