[发明专利]深度图像的空洞区域填充方法、装置和系统

说明书

本发明实施例公开了一种深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质。该深度图像的空洞区域填充方法包括：获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；响应于目标深度图像中存在空洞区域，基于目标彩色图像，确定空洞区域中的像素的像素值；基于空洞区域中的像素的像素值，对空洞区域进行填充，得到填充后深度图像。本发明实施例基于目标场景的目标彩色图像对目标场景的目标深度图像的空洞区域进行填充，从而丰富了深度图像的空洞区域的填充方式，可以提高对深度图像的空洞区域进行填充的准确度，有助于生成包含更丰富的深度信息的彩色全景图像。

技术领域

本发明涉及图像处理技术，尤其是一种深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质。

背景技术

现有技术中，深度图像的空洞区域填充的方法主要可分为以下两类：

第一类方法，利用时间域信息进行深度图像实时空洞填充。例如，利用深度视频中的连续几帧图像，获得物体的运动信息以及深度图像中每一像素位置的像素值变化，将深度图像中待填充空洞的像素值设置为连续几帧的、与待填充空洞在深度图像中位置相同的所有像素值的中值。

第二类方法，利用空间信息进行深度图像空洞填充。该方法利用深度图像的邻域像素进行空洞填充。该方法通过利用获取深度图像空洞像素与其邻域像素的深度值相关性，对深度图像中的空洞进行填充。

现有技术中，通常对深度图像的空洞区域进行填充的准确度较低。

发明内容

本发明实施例提供一种深度图像的空洞区域填充方法、装置、系统、电子设备和存储介质，以丰富深度图像的空洞区域的填充方式，提高对深度图像的空洞区域进行填充的准确度。

根据本发明实施例的一个方面，提供的一种深度图像的空洞区域填充方法，包括：

获取对目标场景进行拍摄得到的目标彩色图像和目标深度图像；

响应于所述目标深度图像中存在空洞区域，基于所述目标彩色图像，确定所述空洞区域中的像素的像素值；

基于所述空洞区域中的像素的像素值，对所述空洞区域进行填充，得到填充后深度图像。

可选地，在本发明任一实施例的方法中，所述基于所述目标彩色图像，确定所述空洞区域中的像素的像素值，包括：

基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值。

可选地，在本发明任一实施例的方法中，所述基于所述目标彩色图像中的像素的像素值，确定所述空洞区域中的像素的像素值，包括：

针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第一邻域范围内的像素的像素值，确定该像素的像素值。

可选地，在本发明任一实施例的方法中，所述基于所述目标彩色图像，确定所述空洞区域中的像素的像素值，包括：

针对所述空洞区域中的像素，基于所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的第二邻域范围的图像的平滑程度，确定该像素的像素值。

可选地，在本发明任一实施例的方法中，所述空洞区域中的像素的像素值之间的差异程度与以下至少一项呈负相关：

所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的像素值之间的相似程度，所述目标彩色图像中与所述空洞区域中的该像素相对应的像素的平滑程度。

可选地，在本发明任一实施例的方法中，所述空洞区域与所述目标彩色图像中的弱纹理区域和重复纹理区域中的至少一项相对应。

根据本发明实施例的第二个方面，提供的一种深度图像的空洞区域填充装置，包括：