[发明专利]在头戴式显示器上渲染当前图像的方法、对应装置、计算机程序产品和计算机可读载体介质

说明书

提供了一种用于在头戴式显示器上渲染当前图像的方法。当前图像是由安装在运动对象上的相机采集的。首先，获得捕捉滚转角。将该捕捉滚转角与作为头戴式显示器的用户头部的当前滚转角的观看滚转角进行比较。如果捕捉滚转角和当前观看滚转角之间的差小于所确定的阈值，则激活检测标志。然后，将当前图像旋转根据捕捉滚转角、当前观看滚转角和检测标志而确定的角度。渲染经旋转的当前图像。

技术领域

本公开涉及沉浸式系统领域。更具体地，本公开涉及一种用于在头戴式显示器上渲染当前图像的技术，该技术允许减少可能损害沉浸式体验的令人不快的副作用，例如电子晕动症(motion cyber sickness)。

背景技术

本章节旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本公开的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应理解，这些陈述应当从这个角度来理解，而不是作为对现有技术的承认。

得益于诸如头戴式显示器之类的设备，360度视频和虚拟现实体验现在涌入娱乐市场，从而允许观众沉浸在媒体的中心。然而，用户的沉浸式的体验可能会被通常所说的电子晕动症所改变。电子晕动症是虚拟现实的一种常见的副作用，当视觉感知的运动和前庭系统的运动感觉之间存在分歧(即，大脑在身体感觉到的运动缺乏或不同步的情况下对协调眼睛看到的运动存在困难)时出现此副作用。因此，用户可能会感到令人不快的感觉，甚至可能使他恶心。当在显示设备(头戴式显示器)中渲染的场景是根据移动的视点采集的场景(例如，用嵌入在移动的车辆(汽车、过山车车厢等)中的相机捕捉的场景)时，这种副作用更可能发生。

存在一些方法可以减轻这种不适感，例如，增加屏幕分辨率，减少头部运动与图像效果之间的延迟，或者在用户的视场内添加一些固定的视觉参考对象(例如虚拟驾驶舱或虚拟鼻子)。然而，实施这些方法并不允许在所有情况下防止电子晕动症。具体而言，这些方法不足以防止当在头戴式显示器内的图像渲染涉及用户头部滚转运动(roll motion)以及由于在图像采集时图像捕捉设备的滚转角(roll angle)的变化而产生的虚拟滚转运动时可能出现的令人不快的感觉。针对图1a、图1b、图2a和图2b示意性地示出了这种情况的示例。

在这些示例中，渲染的场景(平坦地形12上的竖直圆柱塔11)先前已被嵌入在移动车辆(例如过山车车厢)上的图像捕捉设备(例如，相机)捕获。该场景在用户佩戴的头戴式显示器的参考系14中进行渲染。相机的参考系也由图中的虚线矩形15示意性地表示。

图1a和图1b属于在采集期间相机没有横向倾斜(零滚转角)的情况，例如，因为相机嵌入的车厢正笔直地在平坦的表面上行驶。因此，在相机的参考系中，地平线13是水平的。在关于图1a所示的初始情况下，头戴式显示器(即用户的头)是竖直的。如果用户横向向右倾斜其头部，如关于图1b所示，则常规的头戴式显示渲染器将考虑该滚转分量以补偿倾斜并保持地平线13水平。换句话说，渲染器根据头戴式显示器的参考系14操作图像的反向旋转，以保持图像的视觉感知与前庭系统感知一致。因此，如果头部运动和图像的反向旋转之间的延迟保持较低，则这种情况不应导致电子晕动症。