[发明专利]位置零时延

说明书

本发明涉及位置零时延。基于观看跟踪数据，确定观看者对由第一视频图像描绘的三维3D场景的观看方向。所述第一视频图像在第一时间点之前已在视频流中流式传输到流式传输客户端装置，且在所述第一时间点通过所述流式传输客户端装置向所述观看者再现。基于所述观看者的观看方向，在将在所述视频流中流式传输到所述流式传输客户端装置的第二视频图像中识别目标观看部分以在所述第一时间点之后的第二时间点再现。以比用以对所述第二视频图像中的剩余非目标观看部分进行编码的时空分辨率更高的目标时空分辨率将所述目标观看部分编码到所述视频流中。

相关申请的交叉参考

本申请要求2017年12月6日提交的第62/595,544号美国专利申请的优先权，所述美国专利申请以全文引用的方式并入本文。

技术领域

本发明大体上涉及显示图像，且确切地说，涉及以位置零时延再现显示图像以用于增强现实(AR)、虚拟现实(VR)、混合现实(MR)等等。

背景技术

为了在观看者可自由移动观看者的观看位置和方向的视频应用中支持低时延图像再现，可能需要提供高速连接(例如，光学数据连接、局部有线连接等)以支持在极短时间间隔中将大量图像数据发射到观看者的客户端装置(例如，平视显示器、可穿戴式装置、头戴装置等)，例如在帧间隔(例如，小于8毫秒等)内。这可能造成在视频应用中观看者的客户端装置具有过多的外部布线且体积太大而无法容纳于可穿戴式装置的小占据面积中。

可以使用无线网络将图像数据流式传输到客户端装置。然而，可以极短时间延迟或时延发射到客户端装置的图像数据的量显著受限。跟踪观看者的场和观看位置且告知服务器也花费时间。从测量观看者的观看位置和方向时的第一时间点以及观看者的客户端装置最终再现基于观看者的先前测得的观看位置和方向而产生/选择的图像时的第二时间点的往返时间延迟会很显著，从而严重影响观看者对于视频应用的体验的沉浸质量。

在这一部分中描述的方法是可以实行的方法，但不一定是在先前就已经想到或实行的方法。因此，除非另有指示，否则不应假设在这一部分中描述的任一种方法仅凭借它们包含在这一部分中就能够作为现有技术。类似地，除非另有指示，否则相对于一或多个方法所说明的问题不应假设为已被这一部分中的任何现有技术所辨识。

发明内容

本发明的一方面涉及一种用于流式传输视频数据的方法，其包括：基于在第一时间之后从流式传输客户端装置接收的观看跟踪数据，确定观看者相对于由第一视频图像描绘的三维(3D)场景的目标观看方向，所述第一视频图像(a)在所述第一时间点之前已在视频流中流式传输到所述流式传输客户端装置，且(b)在所述第一时间点已通过所述流式传输客户端装置向所述观看者再现；基于所述观看者的所述目标观看方向，识别第二视频图像中的目标观看部分以在所述第一时间点之后的第二时间点之前在所述视频流中流式传输到所述流式传输客户端装置且在所述第二时间点再现；将所述第二视频图像中的所述目标观看部分以高于用以对所述第二视频图像中在所述目标观看部分外部的剩余非目标观看部分进行编码的非目标时空分辨率的目标时空分辨率编码到所述视频流中；经由所述视频流将包括以所述目标时空分辨率编码的所述目标观看部分和以所述非目标时空分辨率编码的所述剩余非目标观看部分的所述第二视频图像发射到所述流式传输客户端装置；其中所述方法由一或多个计算装置执行。