[发明专利]使用深度传感器的结构建模

权利要求书

1.一种用于在移动设备上构建物理环境的数字表示的方法，所述方法包括：

由用户输入模块通过用户接口接收用户输入数据；

由摄像机和传感器模块接收来自摄像机的图像数据并且接收来自深度传感器的深度信息，或者接收来自深度摄像机的图像数据和深度信息；

由结构模型产生器模块接收来自所述用户输入模块的所述用户输入数据以及来自所述摄像机和传感器模块的所述图像数据和所述深度信息；其中所述结构模型产生器模块被进一步配置为：

组合所述用户输入数据和所述图像数据以及所述深度信息以生成所述物理环境的结构模型，其中所述结构模型包括至少一个建模结构；以及

基于所述用户输入数据来将所述至少一个建模结构与语义信息相关联，

其中所述语义信息定义所述至少一个建模结构的至少一个函数，其中所述至少一个函数包括以下各项中的至少一项：透明度、旋转向量、旋转的范围、位置约束和滑动方向向量。

2.根据权利要求1所述的方法，其中所述至少一个建模结构将所述物理环境内的物理对象表示为多边形模型。

3.根据权利要求1或2所述的方法，进一步包括：

由手势识别模块接收来自所述摄像机和传感器模块的所述图像数据和所述深度信息；

由所述手势识别模块使用所述图像数据和所述深度信息来确定用户手势；以及

由所述手势识别模块将命令与所述手势相关联。

4.根据权利要求3所述的方法，进一步包括：

由显示和反馈模块在显示器上显示增强现实；

由所述显示和反馈模块接收来自所述摄像机和传感器模块的摄像机输入；以及

由所述显示和反馈模块将所述结构模型与所述摄像机输入在所述显示器上重叠。

5.根据权利要求3所述的方法，其中由所述显示和反馈模块在所述移动设备的所述屏幕上突出显示在所述增强现实中的几何结构，以向所述用户提供关于所述至少一个结构的反馈。

6.一种移动设备，包括：

被配置为获得指示物理环境的图像数据的摄像机以及被配置为获得所述摄像机的视野的深度信息的深度传感器；或者

深度摄像机，其被配置为获得指示物理环境的图像数据和所述深度摄像机的视野的深度信息；以及

用户接口，其被配置为获得用户输入；以及

处理器，其耦合到存储器并且经配置以：

通过所述用户接口来接收用户输入数据；

接收来自所述摄像机的图像数据和来自所述深度传感器的深度信息，或者接收来自所述深度摄像机的图像数据和深度信息；

组合所述用户输入数据和所述图像数据以及所述深度信息以生成所述物理环境的结构模型，其中所述结构模型包括至少一个建模结构；以及

基于所述用户输入数据来将所述至少一个建模结构与语义信息相关联，

其中所述语义信息被配置为定义所述至少一个建模结构的至少一个函数，其中所述至少一个函数包括以下各项中的至少一项：透明度、旋转向量、旋转的范围、位置约束和滑动方向向量。

7.根据权利要求6所述的移动设备，其中所述用户接口还被配置为向所述用户提供操控所述至少一个建模结构的能力。

8.根据权利要求7所述的移动设备，其中所述操控所述至少一个建模结构的能力包括：

操控所述至少一个建模结构的位置、大小和/或取向。

9.根据权利要求8所述的移动设备，其中耦合到所述存储器的所述处理器还经配置以：

基于所获得的图像数据，接收与所述物理环境中的至少一个位置相对应的用户输入数据；

检测在与所接收的用户输入数据相对应的所述至少一个位置附近的所述物理环境中的至少一个不连续性；以及

基于所接收的用户输入数据和所述至少一个不连续性，产生与所述物理环境中的表面相对应的数字表面。