[发明专利]降低视频编码和解码中的延迟

说明书

背景技术

工程师们使用压缩（也被称作源编码或信源编码）来降低数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来减少存储和传输该信息的成本。解压缩（也被称作解码）从被压缩的形式中重建一个版本的原始信息。“编解码器”是编码器/解码器系统。

在过去的二十年中，已经采用了各种视频编解码器标准，包含H.261、H.262（MPEG-2或ISO/IEC 13818-2）、H.263和H.264（AVC或ISO/IEC 14496-10）标准和MPEG-1（ISO/IEC 11172-2）、MPEG-4 Visual（ISO/IEC 14496-2）和SMPTE 421M标准。最近，正在开发HEVC标准。视频编解码器标准典型地定义了编码视频比特流的语法选项，其详述了当在编码和解码中使用特定特征时该比特流中的参数。在许多情况下，视频编解码器标准还提供了关于解码器应当执行以便在解码中获得正确结果的解码操作的详情。

压缩的基本目标是提供良好的速率失真性能。因此，针对特定的比特率，编码器试图提供最高质量的视频。或者，针对特定的质量水平/对原始视频的保真度水平，编码器试图提供最低比特率的编码视频。在实践中，根据使用的情境，对诸如编码时间、编码复杂度、编码资源、解码时间、解码复杂度、解码资源、总延时、和/或回放中的平滑度之类的考虑也影响编码和解码期间所做出的决定。

例如，考虑诸如从存储装置回放视频、从在网络连接上流传送的编码数据回放视频，以及视频转码（从一种比特率到另一种比特率，或者从一种标准到另一种标准）之类的使用情境。在编码器端，这样的应用可以准许对时间完全不敏感的离线编码。因此，编码器可以增加编码时间并且增加编码期间使用的资源来找到最有效的方式压缩视频，并且从而改进速率失真性能。如果在解码器端还可以接受少量的延时，那么该编码器可以例如通过采用来自序列中更前面的各图像的图像间相关性来进一步改善速率失真性能。

另一方面，考虑诸如远程桌面会议、监控视频、视频电话和其它实时通信情境之类的使用情境。这样的应用对时间敏感。输入图像的录制与输出图像的回放之间的低延迟是性能的一个关键因素。当适配于非实时通信的编码/解码工具被应用于实时通信情境中时，总延迟通常高得难以接受。这些工具在编码和解码期间引入的延时可以改善常规视频回放的性能，但是它们破坏了实时通信。

发明内容

总之，具体实施方式部分提出了用于降低视频编码和解码中的延迟的技术和工具。该技术和工具可以降低延迟以便改善实时通信中的响应性。例如，该技术和工具通过约束由于视频帧重排序导致的延迟，并且通过利用伴随用于该视频帧的编码数据的一个或多个语法元素指示对帧重排序延迟的约束来降低总延迟。

根据本文描述的技术和工具的一个方面，诸如视频编码器之类的工具、具有视频编码器的实时通信工具或其它工具设置指示对延迟的约束（例如与视频序列的多帧之间的帧间相关性一致的对帧重排序延迟的约束）的一个或多个语法元素。该工具输出该（多个）语法元素，从而促进更简单和更快速地确定按照帧的输出顺序重建帧何时为输出做好准备。

根据本文描述的技术和工具的另一个方面，诸如视频解码器之类的工具、具有视频解码器的实时通信工具或其它工具接收并解析指示对延迟的约束（例如对帧重排序延迟的约束）的一个或多个语法元素。该工具还接收用于视频序列的多个帧的编码数据。解码该编码数据中的至少一些来重建多帧中的一个。该工具可以基于该（多个）语法元素确定对延迟的约束，然后使用对延迟的约束来确定重建帧何时为输出做好准备（按照输出顺序）。该工具输出该重建帧。

本发明前述的和其它的目的、特征和优点将在下文参考附图进行的详细描述中变得更加显而易见。

附图说明

图1是其中可以实现一些所描述的实施例的示例计算系统的图示。

图2a和2b是其中可以实现一些所描述的实施例的示例网络环境的图示。

图3是与之结合可以实现一些所描述的实施例的示例编码器系统的图示。

图4是与之结合可以实现一些所描述的实施例的示例解码器系统的图示。

图5a-5e是示出了用于若干示例系列中的帧的编码顺序和输出顺序的图示。

图6是示出了用于设置和输出指示对延迟的约束的一个或多个语法元素的示例技术的流程图。

图7是示出用于降低延迟的解码的示例技术的流程图。

具体实施方式