[发明专利]混合现实环境中的交互虚拟对象

说明书

公开了一种检测与虚拟对象的用户交互的装置和方法。在一些实施例中，一种NED设备的深度感测设备接收多个深度值。深度值与真实世界环境中的点相对于深度感测设备的深度相对应。NED设备将3D虚拟对象的图像叠加在真实世界环境的视图上并标识接近3D虚拟对象的交互界限。基于在交互界限之内的点的深度值，NED设备检测与3D虚拟对象交互的用户的身体部分或用户设备。

背景技术

诸如头戴式显示(HMD)设备的近眼显示(NED)设备最近已经被引入到消费者市场以支持诸如增强现实(AR)和虚拟现实(VR)的可视化技术。NED设备可以包括诸如光源、微显示模块、控制电子器件、光学器件等的部件。

NED设备可以使用深度感测技术来确定人相对于附近对象的位置或以三维生成人的直接环境的图像。深度感测技术可以采用立体视觉、飞行时间(ToF)深度相机或结构化光深度相机。这样的设备可以创建用户的环境中的物理表面的图(被称为深度图像或深度图)并且在期望的情况下绘制用户的环境的三维(3D)图像。

发明内容

本文介绍的是用于检测与虚拟对象的用户交互的至少一种装置和至少一种方法(共同地且单独地称为“本文介绍的技术”)。在一些实施例中，一种NED设备的深度感测设备接收多个深度值。深度值与真实世界环境中的点相对于深度感测设备的深度相对应。NED设备将3D虚拟对象的图像叠加在真实世界环境的视图上并标识接近3D虚拟对象的交互界限。基于在交互界限之内的点的深度值，NED设备检测与3D虚拟对象交互的用户的身体部分或用户设备。

在某些实施例中，NED设备将针对身体部分或用户设备的搜索范围局限于3D虚拟对象的交互界限，并且标识与搜索范围之内的点相对应并且与身体部分或用户设备的形状相关联的深度值的集合。NED设备可以基于从真实世界环境的图像中识别的轮廓来进一步细化针对身体部分或用户设备的搜索范围。

在某些实施例中，3D虚拟对象包括接近真实世界环境中的真实世界对象的表面或与该表面交叠的虚拟表面，并且用于交互检测的3D虚拟对象的交互界限包括在虚拟表面前面的空间。

所公开的实施例的其他方面将从附图和具体实施方式中变得明显。

提供本发明内容以简化的形式介绍下面在具体实施方式中进一步解释的一系列概念。本发明内容不旨在确定要求保护的主题内容的关键特征或必要特征，也不旨在用以限制要求保护的主题内容的范围。

附图说明

本公开的一个或多个实施例通过示例而非限制被图示在附图的各图中，其中相同的附图标记指示相似的元素。

图1示出了支持虚拟现实(VR)或增强现实(AR)的头戴式显示设备(在下文中称为“HMD设备”)可以被使用的环境的示例。

图2图示了HMD设备的示例的透视图。

图3图示了检测与AR空间中的虚拟对象的用户交互的过程的示例。

图4图示了真实世界环境的深度图的示例。

图5图示了与真实世界对象的表面交叠的虚拟表面的示例。

图6图示了真实世界环境的反射率图像的示例。

图7图示了与虚拟表面的边界之内的点相对应的深度值的区域。

图8图示了表示用户的身体部分的形状的搜索范围的示例。

图9示出了可以被用来实现本文中描述的功能部件中的任何一个或多个的系统的硬件架构的高级示例。

具体实施方式

在本说明书中，对“实施例”、“一个实施例”等的引用意指被描述的特定特征、功能、结构或特性被包括在本文介绍的至少一个实施例中。这样的短语在本说明书中的出现不一定全部指代相同实施例。另一方面，引用的这些实施例也不一定是相互排斥的。