[发明专利]用于动态调整点云的细节级别系统及方法

说明书

本文公开的示例方法的一些实施例可以包括：接收表示一个或多个三维对象的点云数据；接收所述点云数据的视点；使用所述视点从所述一个或多个三维对象中选择所选对象；检索用于所述所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；以及在所述点云数据内用所述细节级别数据替换与所述所选对象相对应的点。

相关申请的交叉引用

本申请是2018年3月20日提交的美国临时专利申请系列号62/645,618，题为“用于动态调整点云的细节级别的系统和方法”的非临时提交，并且要求其在美国法典第35章§119(e)下的益处，该申请通过引用整体结合于此。

背景技术

随着虚拟现实(VR)和增强现实(AR)平台正向越来越多的消费者采用发展，对全三维(3D)空间内容观看的需求正在增长。用于这种全3D内容的传统事实标准是多边形3D图形，通过建模手动产生，并利用用于创建实时3D游戏的工具和技术来渲染。然而，新兴的混合现实(MR)显示器和内容捕获技术，例如RGB-D传感器和光场相机，已经设置了关于可以产生和分发沉浸式空间3D内容的方式的新的潜在发展的最佳实践。

从现实世界环境收集点云数据的空间捕获系统可以产生可用作沉浸式体验的内容的大量点云数据。然而，产生现实世界环境的点云的捕获设备通常具有有限的准确度，并且可能对于相对近距离的观看效果最好。这种潜在的限制可能经常导致所捕获的点云的有限的分辨率和准确度。用点云表示高细节级别可能需要大量数据，这些数据可能加重或压倒数据分布带宽，从而潜在地缩减点云的实际或可用细节级别。

发明内容

根据一些实施例的示例方法可以包括：接收表示一个或多个三维对象的点云数据；跟踪点云数据的视点；使用所述视点从所述一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；在所述点云数据内用所述细节级别数据替换与所选对象相对应的点；以及渲染点云数据的视图。

在示例方法的一些实施例中，生成针对所选对象的细节级别数据可包括使产生针对所选对象的附加细节的幻觉(hallucinating)。

在示例方法的一些实施例中，使产生针对所选对象的附加细节的幻觉可以增加点云数据的采样密度。

在示例方法的一些实施例中，生成针对所选对象的细节级别数据可以包括使用神经网络来推断由于用于所选对象的有限采样密度而丢失的细节。

在示例方法的一些实施例中，使用神经网络来推断针对所选对象的细节丢失可以增加点云数据的采样密度。

根据一些实施例的示例方法可以进一步包括：选择用于所选对象的训练数据集；以及使用训练数据集生成神经网络模型。

在示例方法的一些实施例中，针对所选对象的细节级别数据可以具有比在点云数据内替换的点更低的分辨率。

在示例方法的一些实施例中，针对所选对象的细节级别数据可以具有比在点云数据内替换的点更高的分辨率。

在示例方法的一些实施例中，使用所述视点从所述一个或多个三维对象中选择所选对象可以包括：响应于确定从所述一个或多个三维对象拾取的对象与所述视点之间的点距离小于阈值，将所述对象选择为所选对象。

根据一些实施例的示例方法可以进一步包括：在观看客户端处检测所述点云数据内的一个或多个对象，其中选择所选对象可包括在从所述点云数据内检测到的所述一个或多个对象中选择所选对象。

根据一些实施例的示例方法可以进一步包括：在观看客户端处捕获指示用户移动的数据；以及至少部分地使用指示用户移动的数据来设置所述视点。

根据一些实施例的示例方法可以进一步包括：捕获头戴式显示器(HMD)的运动数据；以及至少部分地使用所述运动数据来设置所述视点。