[发明专利]单程对象扫描

说明书

本公开涉及单程对象扫描。本文所公开的各种具体实施包括基于所选择的图像的子集和与该子集的每个图像对应的深度数据生成三维(3D)模型的设备、系统和方法。例如，示例性过程可包括：在设备于包括对象的物理环境中移动期间采集传感器数据，该传感器数据包括经由该设备上的相机捕获的物理环境的图像；基于基于设备运动和深度数据相对于基于运动的缺陷评估该图像来选择该图像的子集；以及基于所选择的该图像的子集和与所选择的子集的每个图像对应的深度数据来生成该对象的3D模型。

相关申请的交叉引用

本申请要求2020年2月26日提交的美国临时申请序列号62/981,607和2021年2月9日提交的美国非临时申请序列号17/171,434的权益，这些申请的全文以引用方式并入本文。

技术领域

本公开整体涉及生成物理环境的三维几何表示，并且具体地涉及基于在物理环境中检测到的深度信息生成几何表示的系统、方法和设备。

背景技术

物理环境和其中的对象已通过生成三维(3D)网格、利用3D点云以及通过其他方式来建模(例如，重建)。这些重建的网格表示物理环境的地板、墙壁和其他对象的3D表面点和其他表面特征。此类重建可基于物理环境的图像和深度测量(例如，使用RGB相机和深度传感器)来生成。

使用移动设备用于基于物理环境的图像和在物理环境中检测到的深度信息来生成3D模型的现有技术可能是不准确且低效的，例如，基于用户在房间内走动时捕获照片或视频或其他传感器数据。此外，现有技术可能无法在实时环境中提供足够准确且高效的对象检测。

发明内容

本文所公开的各种具体实施包括使用所选择的图像数据的子集和深度数据生成三维(3D)模型的设备、系统和方法。该3D模型基于物理环境的图像、在物理环境中检测到的深度信息以及用于跟踪设备/深度相机的特定位置和取向的其他信息来生成。出于各种原因，可能期望排除包括基于运动的缺陷和/或仅包括所选择的一组特定图像(例如，关键帧)的图像。这样做可提供对象的更有用、更现实或物理上更有意义的模型。

本公开的一些具体实施涉及基于所选择的图像的子集和与所选择的子集的每个图像对应的深度数据来生成对象的3D模型的示例性方法。该示例性方法最初涉及：在设备于包括对象的物理环境中移动期间采集传感器数据，该传感器数据包括经由该设备上的相机捕获的物理环境的图像。例如，用户在物理环境中围绕对象(例如，桌子上方的鞋)移动设备(例如，移动设备)以从不同侧面捕获该对象的图像。在一些具体实施中，该传感器数据可包括深度数据和运动传感器数据。在一些具体实施中，在该设备的移动期间，用户界面可显示所捕获的包括对象的环境并提供反馈机制。例如，手电筒型高光可显示已针对特定对象捕获的区域(例如，针对所捕获的像素显示较浅阴影区域，以及针对尚未充分捕获以用于重建的区域显示较深阴影区域)。在一些具体实施中，该用户界面可显示该对象的初步3D模型。例如，当用户正在捕获实时视频并且当实时视频正在主观看屏幕上流式传输时，另一个窗口的画中画显示可以在实时预览屏幕中向用户显示3D模型重建。

该示例性方法还涉及：基于基于设备运动和深度数据相对于基于运动的缺陷评估图像来选择图像的子集(例如，选择要用作“关键帧”的图像)。在一些具体实施中，评估基于运动的缺陷涉及估计特定像素的投影速度。例如，可分析与所识别的对象、3D边界框、相机视图的中心等对应的像素以得出每帧处的基于运动的缺陷。在一些具体实施中，在给定相机的当前运动和像素距相机的距离的情况下，可通过确定像素速度来确定投影速度。除此之外或另选地，在一些具体实施中，可另外基于已从期望距离范围内和/或角度范围内捕获图像来选择图像。除此之外或另选地，在一些具体实施中，可选择图像以确保图像包括对象或特定对象特征(例如，对象的边缘、对象与相机的最接近点、公认的标记诸如品牌名称和/或符号等)。在一些具体实施中，可基于所选择的图像子集在设备的移动期间显示画中画预览。