[发明专利]低延迟混合现实头部可佩戴装置

说明书

本发明涉及一种头部可佩戴装置、方法及系统。公开了头部可佩戴装置，包括：一显示器、一摄像机、一缓冲器和一处理器，缓冲器被配置用以缓冲与来自摄像机中的真实场景图像对应的真实场景图像数据的一部分，处理器被配置用以：执行组合失真校正操作；执行前景分离；对混合值执行平滑操作；执行色差失真校正操作；接收与虚拟场景图像对应的虚拟场景图像数据；将虚拟场景图像数据与处理的真实场景图像数据混合来创建混合现实场景图像作为混合现实场景图像数据；并将混合现实场景图像数据输出到显示器用以展示给用户。

技术领域

本发明涉及混合现实技术领域，尤其涉及低延迟混合现实头部可佩戴装置。

相关申请的交叉引用

本申请涉及在2017年7月27日提交的美国专利申请，申请号15/661，964，代理人案号17CR220，以及在2014年9月2日提交的美国专利申请，申请号14/474，778，代理人案号14CR395，在此将这些专利申请的全部内容并入本文作为参考。

背景技术

虚拟现实(VR)允许模拟和训练提供者实现丰富和拟真的虚拟内容。混合现实将虚拟场景和真实场景融入到单一三维拟真场景中，混合现实通常使用实时视频处理方法，从背景中提取前景图像，并将混合场景生成到用户显示器中，它将期望的现实前景对象与虚拟背景结合在一起。混合现实用户训练通过参加用户的肌肉记忆和提供触觉反馈来增强虚拟现实技术，这是学习的关键组成部分。混合现实允许用户操作真实的设备，用户将在现场使用真实的设备，并允许多用户训练场景，在这个场景中，队友可以在同一个三维虚拟环境中看到彼此。

低延迟视频处理对混合现实系统非常重要，对于使用遮挡显示器的混合现实系统尤其重要，如Oculus Rift或罗克韦尔柯林斯公司的训练系统，用户有一个不允许用户正常看到现实世界的不透明的显示器。目前实施的用于混合现实的遮挡显示器通常需要单独的摄像机，以提供混合现实图像的真实场景图像部分。真实场景图像通过摄像机捕获，转换算法，并在用户看到之前将其转移到显示器上。人类可以检测到由视频处理路径引起的任何明显的延迟，尤其是在头部可佩戴的显示器的宽视场下，因为人的周边视觉对运动非常敏感。例如，当用户在他或她的眼睛前摇动他或她的手时，用户的本体感觉就会告诉用户，手应该在用户的视野中出现确切时间和地点。如果摄像机和/或显示器延迟明显，大脑检测到延迟后，这对手眼协调产生负面影响，并可导致迷失方向，甚至恶心。实验表明，超过约20毫秒(ms)的显示延迟，“光子到像素”，是可察觉并打扰到用户的。超过20毫秒的延迟抵消了混合现实训练的身临其境的优势。目前，20毫秒的延迟预算大部分是由摄像机曝光时间消耗的，摄像机曝光时间通常在4-15毫秒的范围内，以及帧输入/输出(I/O)时间，帧输入/输出(I/O)时间包括将捕获的帧从摄像机传输到显示器。这20毫秒延迟预算的只剩下几毫秒来执行任何视频处理。通常，视频处理要求很重要，因为视频处理涉及渲染现场真实场景视频，与虚拟场景视频紧密结合。此外，这种视频处理通常是在非常高的带宽视频上执行，以获得足够高的分辨率来创建身临其境的混合现实体验。

发明内容