[发明专利]用于低时延视频编码的自适应质量提升

说明书

论述了与用于低时延视频编码的自适应质量提升有关的技术。这种技术包括将若干个时间上相邻的视频帧中的每一者分割成独特的高质量编码区域并且通过相对于视频帧的其他区域向高质量编码区域应用编码质量提升来对每个视频帧进行编码。

背景技术

在压缩/解压缩(编解码器)系统中，压缩效率和视频质量是重要的性能标准。视觉质量在许多视频应用中是用户体验的一个重要方面，并且压缩效率影响着存储视频文件所需要的存储器存储的数量和/或传输和/或流传输视频内容所需要的带宽的数量。例如，视频编码器压缩视频信息以使得更多的信息可通过给定的带宽被发送或者被存储在给定的存储器空间中，等等。经压缩的信号或数据随后可经由解码器被解码，解码器对信号或数据进行解码或解压缩来显示给用户。在大多数实现方式中，具有更大压缩的更高视觉质量是想要的。

在包括视频会议和视频电话在内的一些视频编码情境中，采用实时视频流传输。这种实时视频流传输尤其是一种重要的互联网视频应用。随着最近云视频游戏的出现，实时视频流传输已变得更加重要。在所有这样的应用中，以低时延编码和发送视频是提供期望的用户体验的必要条件，尤其是对于要求用户交互的应用而言。当前，视频编码器负责以反映估计网络带宽的平均比特率(或平均帧大小)来编码视频。对于每一帧，经编码的帧大小被限制在平均帧大小附近的一个小范围内。由于这个限制，当场景变化发生时，经编码的视频质量会下降，并且随着时间的推移逐渐增大到一个收敛的稳定质量。然而，鉴于帧大小限制，收敛速度缓慢，并且稳定的质量往往停留在非最优的标准质量。

在这种低时延情境中，提高视频质量可能是有利的。正是考虑到这些和其他考虑事项，需要本改进。随着压缩和传输视频数据的愿望变得更普遍，这种改进可变得关键。

附图说明

在附图中以示例而不是限制的方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，在附图之间重复附图标记以指示对应或相似的元素。在附图中：

图1是用于低时延视频编码的示例系统的说明图，其中包括在时间上相邻的视频帧之间应用移动的高质量编码区域；

图2是示例输入视频和该输入视频的每一帧的相应区域数据和质量提升水平的说明图；

图3是图示出用于确定帧的时间相关性以用来定义质量提升水平或值的示例过程的流程图；

图4是图示出用于利用帧的时间相关性来确定帧的质量提升水平或值的示例过程的流程图；

图5是用于低时延视频编码的示例高质量编码区域跨帧移动的说明图；

图6是用于低时延视频编码的另一示例高质量编码区域跨帧移动的说明图；

图7是用于低时延视频编码的另一示例高质量编码区域跨帧移动的另一说明图；

图8是图示出用于在低时延编码管线中执行移动区域高质量编码的示例过程的流程图；

图9图示了示例比特流；

图10是图示出用于低时延视频编码的示例过程的流程图，其中包括在时间上相邻的视频帧之间应用移动的高质量编码区域；

图11是用于低时延视频编码的示例系统的说明图，其中包括在时间上相邻的视频帧之间应用移动的高质量编码区域；

图12是示例系统的说明图；并且

图13图示了完全根据本公开的至少一些实现方式布置的示例设备。

具体实施方式