[发明专利]用于利用注视跟踪的VR、低等待时间无线HMD视频流传输的有凹视频链接

说明书

分析注视跟踪数据以确定视频流的图像内的一个或多个感兴趣区域。选择性地缩放视频流数据，使得感兴趣区域内的区段保持高分辨率，同时缩小缩放不在所述感兴趣区域内的区域，以减小传输的带宽成本。还要求保护通过减小高分辨率区域的大小来减少晕动病的方案。

优先权要求

本申请要求2016年12月29日提交的美国临时专利申请号62/440,198的优先权，该申请的全部内容通过引用并入本文。

技术领域

本公开的各方面涉及视频压缩。特别地，本公开涉及视频图像内的差分编码质量。

背景技术

已经开发了具有宽视野(FOV)的图形显示设备。此类设备包括头戴式显示器(HMD)设备。在HMD设备中，小型显示设备佩戴在用户的头部上。显示设备具有位于一只眼睛(单眼HMD)或每只眼睛(双目HMD)前面的显示光学器件。HMD设备通常包括可感测设备定向并在用户头部移动时改变显示光学器件所示出的场景的传感器。传统上，在宽FOV显示器上显示的大多数视频是使用单个压缩算法压缩的，其中屏幕的所有部分具有相同的分辨率。

然而，显示用于虚拟现实(VR)程序(经常与HMD设备结合执行)的视频需要比常规平板显示器更高的帧速率以防止用户经历晕动病。在带宽方面，以非常高的分辨率和高帧速率显示视频是非常昂贵的。用于VR的HMD具有用于在宽FOV中显示视频以获得身临其境的体验的光学系统。虽然主注视点周围的屏幕区域(有时称为有凹区域)需要高分辨率，但主注视点之外的区域仅通过周边视觉观察并因此可以以较低分辨率显示。这种视频有时被称为有凹视频。

在此背景下出现了本公开。

附图说明

图1A-1B是示出在本公开的方面的上下文内的注视跟踪的示意图。

图2A-2B是示出有凹视频的示例的图示。

图2C是示出在本公开的方面的上下文内的视频帧的一种可能划分的示意图。

图3是描绘根据本公开的方面的系统的框图。

图4是根据本公开的方面的总体系统的流程图。

图5A-5B是描绘根据本公开的方面的编码器组侧的流程图。

图6A-6B是描绘根据本公开的方面的解码器组侧的流程图。

图7是示出了根据本公开的方面的感兴趣区域的示例的屏幕空间的示意图

图8是描绘根据本公开的方面的晕动病减少方案的流程图。

图9A-9H是示出结合本发明的实施方案使用眼睛注视和面部跟踪的示例的示意图。

图10A-10D是示出根据本公开的方面的面部定向特性跟踪设置的示意图。

图10E是示出根据本公开的方面的可利用面部定向跟踪的便携式设备的示意图。

发明内容

与现有技术相关联的缺点被涉及有凹视频的编码和传输的本公开的各方面客服。

一种方法，包括：接收视频图像；获得表示一个或多个感兴趣区域的注视跟踪信息；用低压缩编码器压缩对应于一个或多个感兴趣区域的视频图像的一个或多个子区段以产生低压缩视频数据；缩小缩放视频图像并用高压缩编码器压缩视频图像以生成高压缩视频数据；传输高压缩视频数据和一个或多个低压缩视频数据。

一种方法，包括：接收高压缩视频数据；接收对应于表示从注视跟踪信息获得的一个或多个感兴趣区域的视频图像的一个或多个低压缩子区段的低压缩视频数据；解压缩高压缩视频图像；放大缩放解压缩的视频图像；解压缩视频图像的一个或多个低压缩子区段；将放大缩放的视频图像与感兴趣区域中的视频图像的一个或多个子区段组合；以及显示组合的放大缩放视频图像和一个或多个子区段。