[发明专利]用于与外围设备的混合现实交互的方法和系统

说明书

提供了用于提供混合现实(MR)交互的方法和系统。在一个示例中，方法包括：在第一时间处并使用用户的头戴式显示器(HMD)的摄像机捕获用户与物理对象的物理交互的第一图像；在第一时间和第二时间之间测量HMD相对于物理对象的运动；基于HMD的运动的测量来处理第一图像以生成第二图像；基于第二图像生成涉及用户的虚拟交互的合成图像；以及在第二时间处经由HMD并基于合成图像向用户显示虚拟交互以代替物理交互。

相关申请的交叉引用

本申请是非临时申请并要求于2018年3月20日提交的题为“ACCURATE HANDTRACKING ON A PERIPHERAL DEVICE IN A MIXED REALITY ENVIRONMENT(在混合现实环境中对外围设备的准确手跟踪)”的美国临时申请第62/645,760号的权益和优先权，出于所有目的在此通过引用将该临时申请以其全部内容并入。

以下常规美国专利申请(包括本申请)同时提交，并且其他申请的全部公开内容出于所有目的通过引用并入本申请中：

·2019年2月4日提交的题为“METHOD AND SYSTEM FOR OBJECT SEGMENTATION INA MIXED REALITY ENVIRONMENT(用于混合现实环境中的对象分割的方法和系统)”的第16/267,197号申请。

背景技术

外围设备可以用于将人和计算机进行接口。一些常见的外围设备包括键盘、计算机鼠标、图像扫描仪、扬声器、麦克风、网络摄像机、头戴式显示器(HMD)、触针、笔、指针装置等。这些外围设备中的一些可以交互操作以改善用户体验。例如，HMD可以与其他外围设备(例如，鼠标、键盘等)操作，以提供混合现实(MR)或增强现实(AR)体验。例如，用户佩戴的HMD可以包括摄像机以捕获用户与该用户前方的另一外围设备(例如，键盘)的交互的实时图像。可以通过将来自图像的现实元素(例如，物理手或其他身体部位、物理键盘等)与虚拟元素(例如，虚拟键盘、虚拟手等)进行组合来生成合成图像。可以针对实时图像中的每个生成合成图像，并且可以在HMD处向用户显示合成图像以代替实时图像。

当HMD由于用户的运动而移动时，可以更新HMD中显示的合成图像，以反映用户的视角相对于外围设备的变化。合成图像中的虚拟元素和真实元素的渲染应该与HMD的运动同步，以提高一致性并减轻晕动病体验。

发明内容

在某些实施方式中，提供了一种提供混合现实(MR)交互的方法。该方法包括：在第一时间处并使用用户的头戴式显示器(HMD)的摄像机捕获用户与物理对象的物理交互的第一图像；在第一时间与第二时间之间测量HMD相对于物理对象的运动；基于HMD的运动的测量来处理第一图像以生成第二图像；基于第二图像生成涉及用户的虚拟交互的合成图像；以及在第二时间处经由HMD并基于合成图像向用户显示虚拟交互以代替物理交互。

在一些方面中，在第一时间处捕获第一图像。该方法还包括：在第一时间与第二时间之间测量HMD相对于物理对象的运动，以获得一个或更多个测量结果；基于所述一个或更多个测量结果来处理第一图像以生成第二图像。

在一些方面中，基于所述一个或更多个测量结果来处理第一图像以生成第二图像包括：将第一图像存储在帧缓存器中；基于所述一个或更多个测量结果移动帧缓存器中的第一图像的一部分；以及基于第一图像的移动部分来生成第二图像。

在一些方面中，帧缓存器包括第一缓存区和第二缓存区。第一图像的数据在第一缓存区和第二缓存区之间划分。基于存储在第一缓存区中的第一图像的部分数据生成第二图像。移动帧缓存器中的第一图像的一部分包括改变帧缓存器内的第一缓存区的位置。

在一些方面中，帧缓存器包括第一缓存区和第二缓存区。第一图像的数据可以在第一缓存区和第二缓存区之间划分。可以基于存储在第一缓存区中的第一图像的部分数据来生成第二图像。移动帧缓存器中的第一图像的一部分可以包括：相对于帧缓存器内的第一缓存区的位置来改变第一图像的数据的存储位置。