[发明专利]用于使用可平行化架构中的图像来初始化及解算面元的局部几何形状或表面法线的方法

说明书

技术领域

本文中所揭示的标的物通常涉及用于例如计算机视觉及扩增实境(AR)应用程序等用于映射及跟踪技术的应用程序中的系统、方法及设备。具体来说，系统及过程用于通过比较可平行化架构中的关键帧的集合中的假设法线来计算表面法线。

背景技术

相关背景

例如游戏、计算机视觉及扩增实境系统等应用程序依赖于对象的准确及有效检测及跟踪。在未知环境中跟踪相机，或跟踪在相机前方移动的未知对象涉及首先建造环境或对象的外观及结构表示。随后可通过匹配来自传入图像的图像特征与可存储为关键帧的特征贴片的所存储外观表示来继续进行跟踪。

为了将来自过去关键帧(第一帧)的特征匹配到当前帧(第二帧)上，针对相似度，比较环绕过去关键帧(第一帧)中的特征点位置的局部外观或像素强度与其中预期特征所位于的当前帧(第二帧)中的候选区中的局部外观或像素强度。量化或测量相似度的一个常用方法为经由使用过去关键帧中的像素的窗口与当前关键帧中的像素的窗口之间的归一化交叉相关(NCC)得分。在两个帧/图像中的特征的校正位置处，来自两个帧/图像的像素的窗口之间的NCC得分很高，从而指示良好相似性。然而，在两个图像的相机姿态相当不同且存在两个图像中的特征的外观的改变时，无法直接比较特征窗口，且NCC得分很低。在此情况下，环绕第一帧中的特征位置的图像区域必须扭曲到第二帧的图像区域的视点，从而看起来类似于如从第二视点在第二帧中所见的特征的外观。环境的局部几何形状或局部表面法线对于此匹配来说是重要的，从而使外观从一个视图扭曲到另一视图，以用于从两个不同视角的宽基线匹配。场景的几何形状通常近似为中心定在3D特征点位置处且具有3D的任意平面法线向量的小平坦贴片。通过局部几何形状的此表示，需要中心定在每一3D特征点位置处的平坦贴片的法向量以便使围绕图像中的特征位置的窗口的外观从一个视点扭曲到另一视点。另外，对于以动态方式与环境交互的扩增，需要估计表面法线或贴片法线。举例来说，如果从其弹开的表面的法线为已知的，那么可使弹力球扩增为真实的；及在扩增实境的应用程序中，这些是中心定在3D特征点处的贴片的表面法线。传统地，使用最小化经扭曲贴片之间的平方差和的迭代梯度下降算法来估计这些法线。举例来说，Nicholas Moltom、Andrew Davison及Ian Reid在其标题为“来自运动的实时结构的局部平坦贴片特征(Locally Planar Patch Features for Real-Time Structure from Motion)”的论文中描述此估计，所述论文呈现于2004英国机器视觉会议。此方法为本身迭代算法，所述算法难以平行化。另外，此过程需要相对准确的初始解来收敛到全局最佳值。此需要计算梯度，这需要较高表示精度。归因于计算限制，对照明改变的最传统解也不是恒定的。

发明内容

本发明的实施例是针对通过解算所俘获视频流中的对象的局部几何形状或表面法线来执行相机及目标跟踪。在一个实施例中，产生在视频流中可见的场景中的3D特征点的假设法线。假设法线表示相对于由移动相机所看见的对象的表面法线的近似。因为视频流从第一关键帧摇动到第二关键帧中所表示的对象的不同视图，所以针对特定3D特征点假设的所有法线当中的校正表面法线为具有以下特性的法线：在校正法线用于使中心定在第一关键帧中的图像特征位置周围的像素的窗口/贴片扭曲到第二关键帧的相机视图中时，来自第一帧的像素的经扭曲窗口具有与第二关键帧中的像素的对应窗口的高相关性。用于使像素从第一关键帧扭曲到第二关键帧的不正确地假设的法线将产生第一帧中的像素的经扭曲窗口与第二关键帧中的像素的窗口之间的低相关性得分。在一个实施例中，像素的窗口/贴片可为中心定在预定位置处的正方形或矩形像素网格或贴片(例如，8x8或10x12像素网格)。在一个实施例中，如果存在两个以上关键帧，那么校正法线可在此扭曲程序之后产生任何两个关键帧之间的高相关性得分。在准确表面法线的计算/估计之后，可正好匹配及跟踪视频流中的关键帧之间的对应对象或点。

在一个实施例中，在可平行化架构中分析用于关键帧的集合的假设法线以确定其准确性，其中并行评估法线的集合以用于确定在扭曲之后在若干对关键帧之间的高相关性得分。假设可能表面法线及使用多对关键帧确定其准确性提供与使用梯度下降或类似迭代方法的替代方案相比较对图像噪声稳健的解。另外，能够以并行方式实施计算导致与迭代或类似方法相比较更快速的解。