[发明专利]深度图像修复方法、设备及计算机可读存储介质有效

专利信息
申请号: 202011279718.0 申请日: 2020-11-16
公开(公告)号: CN112991193B 公开(公告)日: 2022-09-23
发明(设计)人: 吴怀宇;李琳;陈洋;郑秀娟;张天宇;刘汉东 申请(专利权)人: 武汉科技大学
主分类号: G06T5/00 分类号: G06T5/00;G06T7/55;G06T7/80;G06T17/00
代理公司: 湖北武汉永嘉专利代理有限公司 42102 代理人: 胡琳萍
地址: 430081 湖北*** 国省代码: 湖北;42
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 深度 图像 修复 方法 设备 计算机 可读 存储 介质
【权利要求书】:

1.一种深度图像修复方法,用于处理Kinect获取的深度图像,其特征在于包括如下步骤:

S1:首先利用Kinect获取室内彩色图像和深度图像;对Kinect的深度相机和彩色相机进行标定,使深度图像和彩色图像像素点一一对齐;

S2:对深度图像进行可视化处理,将深度图转化成普通的灰度图;

S3:将深度图像四周的无效黑色区域进行裁剪处理;

S4:然后判断裁剪处理后深度图像的空洞类型;

S5:根据空洞的类型使用不同算法进行分步修复,所述的分步修复过程为:利用改进的快速行进法修复物体表面空洞;对遮挡空洞利用基于方向的联合双边滤波进行填充;

步骤S5中改进的快速行进法具体步骤为:

S51:对彩色图像使用K-means算法进行聚类处理:

S511:首先随机选择K个初始聚类中心;

S512:分别计算每个样本点到各个聚类中心的距离,将该样本点归到距离最短的聚类中心所在的类;

S513:当样本点被归纳到其所属的类别中,重新计算各个聚类中心的中心位置;

S514:进行收敛判断,通过步骤S512和S513的循环计算,直到聚类中心不再发生变化,则聚类划分结束;

S52:利用聚类后的彩色图像信息来引导深度图像填充:

根据待修补像素周围的非空像素对该像素点的值进行估计,像素深度估计公式如下:

其中,q点是p点的邻域像素,Dq表示点q的深度,表示像素点q的梯度,ω(p,q)表示权函数,用来衡量q点与其邻域像素q的相似程度;

将彩色图像的聚类信息引入到缺失深度点的估计中去,结合双边滤波器的设计方式,将上式中的权函数重新设计为两个权重因子的乘积,两个权重因子分别由空间距离因子dst(p,q)和颜色相似因子col(p,q)构成:

ω(p,q)=dst(p,q)col(p,q);

式中:

p、q分别表示空洞像素点及其邻域像素点的坐标,Ip和Iq代表点像素点p和q经过聚类后的彩色信息值,d0和I0取1;

S6:最后使用自适应中值滤波对修复后的深度图像进行去噪处理,获取高质量的深度图像。

2.根据权利要求1所述的深度图像修复方法,其特征在于步骤S1中采用张正友标定法对相机进行标定,具体步骤如下:

1)用图像编辑软件绘制出一个7×10棋盘标定格图像,用A3纸打印出该图像,并打印后图像粘贴在平坦的木板上,作为对Kinect进行标定的棋盘标定板;

2)从不同角度拍摄出若干张棋盘标定板图片,检测出图像中的特征点;

3)求解相机的内外参数并使用极大似然估计提升精度;

4)应用最小二乘求出实际的径向畸变系数;

5)输出相机的内外参数及畸变系数。

3.根据权利要求1所述的深度图像修复方法,其特征在于步骤S2中对深度图像进行可视化处理的公式为:

式中:Z(u,v)为深度图像的距离,Zmax为Kinect传感器的最大测量范围,G(x,y)为转换为普通的灰度图的灰度值。

4.根据权利要求1所述的深度图像修复方法,其特征在于步骤S4中判断空洞类型通过计算空洞邻域内像素点的深度值方差ΔDepth实现,计算公式如下:

其中,Dp表示空洞邻域内p像素点的深度值,表示空洞邻域的像素值均值,n表示像素点总个数,通过计算得到的深度值方差ΔDepth与阈值Δthreshold进行比较,阈值设为11:若ΔDepthΔthreshold,该空洞为物体表面空洞;若ΔDepthΔthreshold,该空洞为物体遮挡空洞。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉科技大学,未经武汉科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011279718.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top