[发明专利]具有功率有效深度传感器使用的实时三维重建

说明书

所揭示实施例促进在3D重建期间的移动台MS中的资源利用效率。在一些实施例中，可获得用于由MS上的摄像机捕捉的第一彩色图像的摄像机姿势信息，且可部分地基于所述第一彩色图像和关联摄像机姿势信息而作出是否扩展或更新正由所述MS模型化的环境的第一三维3D模型的确定。当不扩展或更新所述第一3D模型时，可停用深度传感器，所述深度传感器提供用于由所述摄像机捕捉的图像的深度信息。

相关申请案的交叉参考

本申请案主张2014年1月22日申请的名为“具有功率有效深度传感器使用的实时三维重建(Real-Time 3D Reconstruction with Power Efficient Depth SensorUsage)”的美国申请案第14/161,140号的权利和优先权。美国申请案第14/161,140号又主张2013年1月30日申请的名为“具有功率有效深度传感器使用的实时三维重建(Real-Time3D Reconstruction with Power Efficient Depth Sensor Usage)”的美国临时申请案第61/758,699号和2013年2月26日申请的名为“具有功率有效深度传感器使用的实时三维重建(Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage)”的美国临时申请案第61/769,465号的权利和优先权以上所识别的所有美国专利申请案被以引用的方式全部并入本文中。

技术领域

本发明大体上涉及用于移动装置中的功率效率的设备和方法。

背景技术

在计算机视觉和计算机图形中，3D重建为确定实际物件的形状和/或外观的过程。3D重建可基于从各种类型的传感器获得的物件的数据和/或图像。例如，可使用摄像机以测量由物件的表面反射或从物件的表面发射的辐射或光，且接着可自由摄像机捕捉的物件的图像且自由其它传感器提供的信息推断物件的3D结构或模型。一般来说，术语3D模型在本文中用以指3D环境的表示。

通常，在3D重建中，在分批模式中离线处理数字图像集合连同其它感测信息以获得3D模型，所述3D模型可采取物件的3D网格的形式。然而，因为3D重建传统上在计算方面昂贵，所以常常离线执行3D重建且通常在很长时间以后才可得到3D重建的结果。因此，使用3D重建的实务实时应用到今受到限制。

新近实时或近实时3D重建已归因于包含以下各者的因素的组合而取得推进：增加处理能力的可用性、先进算法，以及新形式的输入数据。随着由计算装置(包含移动装置)快速地处理经捕捉图片，用户现在可近实时获得关于3D重建的回馈。然而，用于3D重建的许多技术功耗大，且引起相对高功率使用。例如，在移动装置中，增加功率消耗可耗尽电源或电池，由此限制3D重建的实务适用性。

因此，需要用以促进计算装置和移动装置上的功率有效实时3D重建的设备、系统和方法。

发明内容

根据一些方面，揭示一种用于移动装置上的功率有效实时三维重建的方法。在一些实施例中，移动台(MS)可包括至少一个摄像机和深度传感器，且所述方法可包括：用至少一个摄像机来捕捉第一图像，其中所述第一图像包括用于正由所述MS模型化的环境的至少一部分的色彩信息；和获得用于所述第一图像的摄像机姿势信息。在一些实施例中，所述方法可进一步包括：部分地基于所述第一经捕捉图像和用于所述第一图像的所述摄像机姿势信息而确定是否扩展所述环境的第一三维(3D)模型；和当不扩展所述第一3D模型时停用所述深度传感器。

在另一方面中，一种MS可包括：摄像机，其可捕捉包括色彩信息的第一图像；深度传感器，其耦合到所述摄像机；和处理器，其耦合到所述深度传感器和所述摄像机。在一些实施例中，所述处理器可经配置以：获得用于所述第一图像的摄像机姿势信息；部分地基于所述第一图像和用于所述第一图像的所述摄像机姿势信息而确定是否扩展正由所述MS模型化的环境的第一三维(3D)模型；和在不扩展所述第一3D模型的情况下停用所述深度传感器。