[发明专利]使用深度值估计的图像处理方法和装置

说明书

一种图像处理方法包括：从输入图像序列中选择帧，其中所选择的帧包括第一帧和第二帧；使用在所选择的帧中的每个帧的特征点之中具有深度值的特征点，针对所选择的帧中的每个帧生成包括多边形的多边形网格；基于所述多边形网格设置与第一帧的像素相对应的第二帧的对应像素的搜索范围；以及通过基于所述搜索范围匹配第一帧的所述像素和所述对应像素来估计第一帧的所述像素的深度值。

相关申请的交叉引用

本申请要求2017年10月16日在韩国知识产权局递交的韩国专利申请No.10-2017-0133815的权益，出于所有目的，其全部公开内容通过引用合并于此。

技术领域

以下描述涉及一种图像处理方法和装置，其使用单眼相机来估计深度值以重建三维(3D)图像。

背景技术

可以通过深度估计将二维(2D)输入图像重建为三维(3D)图像。使用以下方案来估计2D输入图像的深度：例如，使用深度相机来估计深度值的方案，通过对使用两个相机获取的左图像和右图像应用立体视觉来估计深度值的方案，或者在同时测量移动相机的位置的同时生成周围环境地图的同时定位和映射(SLAM)方案。

在移动设备中估计图像的深度值的当前技术需要诸如深度相机或两个相机之类的附加硬件设备。此外，由于移动设备的尺寸较小，因此难以提供两个相机之间的适当距离。另外，小型移动设备的有限计算资源妨碍了SLAM方案所需的操作的实时处理。

发明内容

提供了本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在用于帮助确定所请求保护的主题的范围。

在一个总的方面，一种处理器实现的图像处理方法包括：从输入图像序列中选择帧，其中所选择的帧包括第一帧和第二帧；使用在所选择的帧中的每个帧的特征点之中具有深度值的特征点针对所选择的帧中的每个帧生成包括多边形的多边形网格；基于所述多边形网格来设置与第一帧的像素相对应的第二帧的对应像素的搜索范围；以及通过基于所述搜索范围匹配第一帧的所述像素和所述对应像素来估计第一帧的所述像素的深度值。

第一帧的所述像素可以位于所述多边形之一中，并且设置所述对应像素的搜索范围可以包括：基于所述多边形的深度值来设置所述对应像素的搜索范围。

设置所述对应像素的搜索范围可以包括：基于所述多边形之中包括所述像素的多边形的顶点的深度值来设置第二帧中所述对应像素的搜索范围。

设置所述对应像素的搜索范围可以包括：基于所述多边形之中包括第一帧的所述像素的多边形的顶点的深度值来预测第一帧的所述像素的三维(3D)候选坐标，并且通过将第一帧的所述像素的3D候选坐标投影到第二帧的坐标系来设置所述对应像素的搜索范围。

所述3D候选坐标的预测可以包括：基于所述多边形的顶点的深度值中的每一个来预测所述3D候选坐标。

所述3D候选坐标的预测可以包括：基于所述多边形的顶点的深度值的插值来预测所述3D候选坐标。

设置所述对应像素的搜索范围可以包括：通过将所述3D候选坐标投影到第二帧的坐标系来确定所述对应像素的候选，并且基于所述对应像素的候选，沿极线设置第二帧中所述对应像素的搜索范围。

估计第一帧的所述像素的深度值可以包括：通过基于所述搜索范围匹配第一帧的所述像素和所述对应像素的候选来估计第一帧的所述像素的深度值。

所述选择帧可以包括：基于用来捕获所述输入图像序列的相机的姿态信息来将所选择的帧配对。

将所选择的的帧配对可以包括基于以下项中的任何一个或任何两个或更多个的任何组合来将所选择的帧配对：所选择的帧之间的重叠程度、所选择的帧之间的基线的长度以及所选择的帧之间的视角。