[发明专利]用于用信号通知参考图片重采样和空间可缩放性的组合的技术

说明书

一种使用至少一个处理器对已编码视频码流进行解码的方法、装置和非易失性计算机可读介质，该方法包括：从已编码视频码流中获取第一标志，第一标志指示针对已编码视频序列(CVS)启用参考图片重采样；确定指示图片分辨率在CVS中是否改变的第二标志的值；基于第二标志的值指示图片分辨率在CVS中改变，使用用于空间可缩放性和自适应分辨率改变(ARC)的参考图片重采样来解码CVS；以及基于第二标志的值指示图片分辨率在CVS中不改变，使用用于空间可缩放性的参考图片重采样但不使用用于ARC的参考图片重采样来解码CVS。

相关申请的交叉引用

本申请根据美国专利法第119条要求在美国专利商标局于2020年5月20日提交的申请号为63/027,835的美国临时专利申请、于2020年6月5日提交的申请号为63/035,647的美国临时专利申请、于2020年6月8日提交的申请号为63/036,174的美国临时专利申请、于2020年6月8日提交的申请号为63/036,342的美国临时专利申请以及于2021年3月24日提交的申请号为17/211,236的美国专利申请的优先权，上述申请公开内容通过引用整体并入本申请中。

技术领域

本申请所公开的主题涉及视频编码和解码，更具体地涉及用信号通知具有多个层的已编码视频流中的参考图片重采样和空间可缩放性的组合。

背景技术

使用具有运动补偿的帧间图片预测进行视频编码和解码为人们所知。未压缩的数字视频可由一系列的图片组成，每个图片具有一定的空间维度，例如，具有1920×1080的亮度样本和相关的色度样本。所述一系列的图片可以具有固定的或可变的图片速率(非正式地，也被称作帧率)，例如，每秒60个图片或60赫兹(Hz)。未压缩的视频对比特率有着显著的要求。例如，每个样本8比特的1080p60 4:2:0视频(60Hz帧率下的1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。这样的视频一小时需要超过600GB的存储空间。

视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于降低上述带宽或存储空间的要求，在一些情况下，可降低两个或更多的数量级。无损压缩和有损压缩以及其组合均可以用于视频编码和解码。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建的信号可能与原始信号不完全一致，但是原始信号与重建的信号之间的失真小得足以使重建的信号可以用于预期应用。有损压缩广泛应用于视频中。有损压缩容许的失真量取决于应用；例如，与电视分发应用的用户相比，某些消费者流式传输应用的用户可以容忍较高的失真。可实现的压缩比可以反映的是：可允许的/可容许的失真越高，可产生的压缩比越高。

视频编码器和解码器可以使用几大类技术，包括例如运动补偿、变换、量化和熵编码。下文将介绍这几类中的一些技术。

历史上，视频编码器和解码器倾向于在给定的图片大小上进行操作，在大多数情况下，图片大小对于已编码视频序列(Coded Video Sequence，CVS)、图片组(Group ofPictures，GOP)或类似的多图片时间帧，是定义好的并保持恒定。例如，在MPEG-2中，系统设计会根据场景活动等因素，改变水平分辨率(以及从而改变图片大小)，但仅在I图片处是这样，因此这通常适用于GOP。重采样参考图片以可以在CVS中使用不同的分辨率是已知的，例如，从ITU-T H.263建议书附录P可知。然而，因为这里的图片大小并没有改变，仅对参考图片进行重采样，从而可能导致只使用了图片画布的一部分(在下采样的情况下)，或者只采集了场景的一部分(在上采样的情况下)。此外，H.263附录Q允许以两倍(在每个维度中)向上或向下对各个宏块进行重采样。同样，图片大小保持不变。宏块的大小在H.263中是固定的，并且因此不需要用信号通知。