[发明专利]用于帧间预测和显示的自适应图片分辨率重新缩放

说明书

一种对已编码视频序列的已编码图片进行解码的方法，该方法由至少一个处理器执行，且该方法包括：从用于多个图片的第一高级语法结构，对与参考段分辨率相关的语法元素进行解码；从由第一已编码图片到第二已编码图片而变化的第二高级语法结构，对与已解码段分辨率相关的语法元素进行解码；对来自参考图片缓冲器的样本进行重新采样，以供解码器为进行预测而使用，解码器以解码分辨率对段进行解码，且来自参考图片缓冲器的样本处于参考段分辨率；将处于已解码段分辨率的段解码成处于已解码段分辨率的已解码段；以及将已解码段存储在参考图片缓冲器中。

相关申请的交叉引用

本申请要求于2019年1月2日提交至美国专利商标局的美国临时专利申请第62/704,040号的优先权，以及于2019年12月11日提交至美国专利商标局的美国专利申请第16/710,389号的优先权，这两个申请通过引用整体并入本文。

技术领域

所公开的主题涉及视频编码和解码，更具体地涉及用于在高级语法(synatx)结构中自适应图片分辨率重新缩放的语法元素以及图片段的相关的解码和缩放处理。

背景技术

使用具有运动补偿的帧间图片预测的视频编码和解码在几十年来是已知的。未压缩的数字视频可以由一系列图片组成，每个图片具有如下空间维度，例如1920×1080亮度样本和相关联的色度样本。该一系列图片可以具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60幅图片或60Hz。未压缩的视频具有显著的比特率要求。例如，在每样本8比特下，1080p60 4:2:0视频(在60Hz帧率下具有1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。一小时的这种视频需要超过600GB的存储空间。

视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于减少前述带宽或存储空间需求，在一些情况下可以减少两个数量级或大于两个数量级。可以采用无损压缩和有损压缩以及它们的组合。无损压缩是指可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，已重建信号可能与原始信号不相同，但是原始信号和已重建信号之间的失真足够小，以使得已重建信号可用于预期应用。在视频的情况下，广泛使用有损压缩。容许的失真量取决于应用；例如，某些消费流式应用的用户相比电视分布应用的用户来说可以容忍更高的失真。可实现的压缩率可以反映：更高的可允许/可容许的失真可以产生更高的压缩率比。

视频编码器和解码器可利用来自若干广泛类别的技术，例如包括运动补偿、变换、量化和熵编码，下文将介绍其中一些技术。

基本信息理论表明，给定内容的系列图片的图片的空间上较低分辨率的表示可以被压缩成比较大表示更少的比特。因此，当带宽或存储不足时，或者对于不需要高空间分辨率的、对成本敏感的应用，在编码之前对输入的系列图片进行下采样并在解码之后进行相应的上采样以获得适于显示的图片，这种方式已经使用了几十年。例如，至少一些基于MPEG-2的TV分发/显示系统，在信道上可用的带宽不足以允许良好的再现质量时，可能会在编码环路之外在每个图片群组的基础上改变图片的水平分辨率。在这方面，应该注意，许多视频编解码器具有“断点”，也称为“拐点”(在速率-失真曲线中)，在该点处通过增加量化器值(为了保持在速率包络内)实现的平缓质量降低被破坏，且突然出现显著的质量降低。由于一些视频分发系统在非常接近针对平均复杂度内容的断点处操作，所以活动的突然增加可导致可能不容易由后处理技术补偿的恼人的伪影。

尽管从视频编解码器的实现和规范的角度来看，在编码环路之外改变分辨率可能是相对简单的问题，但是它也不是特别有效。这是因为分辨率的变化可能需要帧内编码图片，在许多情况下帧内编码图片可能比已编码视频比特流中最常见的帧间编码图片大许多倍。增加附加种类的帧内编码图片以对抗本质上可能是带宽缺乏问题的问题，可能产生相反效果，需要大的缓冲器和相关联的大的可能延迟才能起作用。