[发明专利]深度图像空洞填充方法、装置、电子设备及其存储介质

说明书

本发明公开了一种深度图像空洞填充方法、装置、电子设备及其存储介质，深度图像空洞填充方法包括：获取深度图像和灰度图像；获取所述深度图像中的空洞点；获取所述深度图像中的非空洞点；利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。本发明提供的深度图像空洞填充方法，利用灰度图像计算深度图像中空洞点和非空洞点的相似度权重，通过该相似度权利和深度图像中非空洞点的深度值对空洞点进行填充，以改善物体边缘及较大区域空洞填充的效果，而且效果明显。

技术领域

本发明属于图像处理技术领域，具体涉及一种深度图像空洞填充方法、装置、电子设备及其存储介质。

背景技术

随着多媒体技术的快速发展，用2D描述的真实世界已不能满足人们日益增长的视觉需求。在3D视频中，深度是核心关键信息。目前，深度图像可以通过深度相机和深度估计方法从多视点视频数据中获取。

由于受遮挡、测量范围限制等因素影响，深度相机例如Kinect相机所获取的深度图像存在空洞，为了有效抑制其对后续图像处理质量的影响，需要对所获取的深度图像进行空洞修复，以改善和提高所获取深度图像的质量。目前基于深度相机的深度图像空洞填充方法主要可以分为两类，一类是基于联合双边滤波方法的深度图像空洞填充方法，该类方法能够在保持原有边缘的同时填充较小的空洞；另一类是基于非空洞区域深度值扩散的深度图像空洞区域填充方法，比如基于中值滤波或高斯滤波的深度图像空洞填充方法，该类方法对于较小空洞的填充效果比较好。

但是，上述深度图像空洞填充方法对于较大空洞填充时均会产生模糊现象，尤其对于物体边缘的空洞填充，效果更差，导致边缘更加模糊。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种深度图像空洞填充方法、装置、电子设备及其存储介质。

本发明实施例提供了一种深度图像空洞填充方法，该方法包括：

获取深度图像和灰度图像；

获取所述深度图像中的空洞点；

根据所述深度图像中的空洞点获取所述深度图像中的非空洞点；

利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重；

根据所述相似度权重和所述深度图像中非空洞点的深度值对所述空洞点进行估计得到所述空洞点填充后的深度值，以实现深度图像的空洞填充。

在本发明的一个实施例中，获取所述深度图像中的空洞点之前，还包括：

根据预设配准方法对所述深度图像进行配准得到配准后的深度图像，从所述配准后的深度图像中获取所述空洞点。

在本发明的一个实施例中，根据所述深度图像中的空洞点获取所述深度图像中的非空洞点，包括：

以所述深度图像中的空洞点为中心，获取大小为(2p+1)×(2p+1)的第一方形邻域，p为大于14的整数；

从所述第一方形邻域中获取所述深度图像中的非空洞点。

在本发明的一个实施例中，利用所述灰度图像计算所述深度图像中空洞点和非空洞点的相似度权重，包括：

获取所述灰度图像中的空洞点和非空洞点；

计算所述灰度图像中空洞点和非空洞点的灰度值相似度权重；

计算所述深度图像中空洞点和非空洞点的距离权重；

根据所述灰度值相似度权重、所述距离权重得到述深度图像中空洞点和非空洞点的相似度权重。