[发明专利]用于精细化深度图像的方法和装置

说明书

一种精细化深度图像的方法包括：从彩色图像中提取彩色像素的阴影信息；以及基于在阴影信息中包括的对象的表面法线信息来精细化与彩色图像相对应的深度图像。

相关申请的交叉引用

本申请要求于2017年4月5日向韩国知识产权局递交的韩国专利申请No.10-2017-0044226的优先权，其全部公开内容通过引用并入本文中以用于所有目的。

技术领域

本申请涉及用于精细化深度图像的技术。

背景技术

最近，已经提供了要应用于例如游戏内容和医疗内容的使用包括三维(3D)深度信息在内的深度图像的服务。通常，通过使用例如红外传感器和立体相机的装置额外测量深度来生成深度图像。深度信息表示对象与测量位置之间的距离。为了使用深度图像获得期望结果，可以保持在深度图像中包括的深度信息，并且可以从深度图像有效地去除噪声。

发明内容

提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的理念的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总的方面，一种精细化深度图像的方法包括：从彩色图像中提取彩色像素的阴影信息；以及基于在所述阴影信息中包括的对象的表面法线信息来精细化与所述彩色图像相对应的深度图像。

精细化深度图像可以包括：基于所述深度图像中的每个区域的表面法线信息的表面法线分布来确定要应用于在所述深度图像中包括的当前深度像素的滤波器的滤波器特性；以及通过将具有所确定的滤波器特性的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

确定滤波器特性可以包括：基于所述表面法线信息来确定要应用于所述当前深度像素的滤波器的滤波器系数和要应用于所述当前深度像素的滤波器的滤波器尺寸中的一个或其二者。

精细化深度图像可以包括：基于所述深度图像中包括的当前深度像素所属的区域的表面法线信息的表面法线分布，确定所述区域的类型；以及通过将与所确定的区域的类型相对应的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

所述滤波器可以被配置为基于当前深度像素的相邻深度像素的深度值来调整当前深度像素的深度值。

所述确定区域的类型可以包括基于所述当前深度像素的相邻像素的表面法线值的改变来确定所述当前深度像素所属的区域。

所述确定区域的类型可以包括确定所述当前深度像素是属于噪声区域、所述对象的表面区域还是所述对象的边缘区域。

与所述噪声区域或所述对象的表面区域相对应的滤波器的滤波器尺寸可以大于与所述对象的边缘区域相对应的滤波器的滤波器尺寸。

要应用于所述当前深度像素的相邻深度像素的滤波器系数可以根据要应用于所述当前深度像素的滤波器是与噪声区域相对应的滤波器、与所述对象的表面区域相对应的滤波器还是与所述对象的边缘区域相对应的滤波器而变化。

所述方法还可以包括基于先前时间的深度图像的深度信息来确定是否精细化当前时间的深度图像。

所述方法还可以包括：响应于与所述当前时间的深度图像相对应的彩色图像以及与所述先前时间的深度图像相对应的彩色图像之间的差满足预设条件，来基于所述先前时间的深度图像的深度信息精细化所述当前时间的深度图像。

所述方法还可以包括：基于精细化的深度图像的深度信息来提取所述彩色像素的阴影信息。

所述方法还可以包括：从所述彩色图像中提取所述彩色像素的反照率信息；以及精细化深度图像可以包括：根据基于所述表面法线信息的第一权重、基于所述反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化所述深度图像。