[发明专利]参考数据重用方法、带宽估计方法及相关视频解码器

说明书

【交叉引用】

本申请要求申请日为2015年12月23日，美国临时申请号为62/387，276的美国临时申请案的优先权，上述临时申请案的内容一并并入本申请。

【技术领域】

本发明涉及使用帧间预测(Inter prediction)模式或帧内块复制(Intra block copy)模式的视频编码。具体地，本发明涉及用于提高参考数据重用效率以便降低系统带宽需求的方法和装置。

【背景技术】

视频数据需要大量的存储空间来存储或者需要大的带宽来传输。随着不断增长的高分辨率和更高的帧速率，如果以未压缩形式存储或传输视频数据，则存储或传输带宽要求将是巨大的。因此，视频数据通常使用视频编码技术以压缩格式存储或传输。使用较新的视频压缩格式(诸如H.264/AVC、VP8、VP9和新兴的HEVC(高效率视频编码)标准)已经大大改善了编码(coding)效率。为了保持可管理的复杂性，图像通常被划分为诸如宏块(MB)或编码单元(coding unit，简写为CU)的块以应用视频编码(coding)。视频编码标准通常在块的基础上采用自适应帧间/帧内预测。

自适应帧间/帧内视频编码已广泛用于各种视频编码系统中。系统可以将画面划分为块，并且可以以帧间模式或帧内模式对块进行编码。对于帧间预测，运动估计和运动补偿用于从一个或一个以上先前重构(reconstructed)的参考图片选择一个或一个以上参考块。当使用帧内模式时，使用同一图像中的先前重构的视频数据来导出预测值。生成当前块及其预测器之间的残差。残差通常使用变换(例如，离散余弦变换，(discrete cosine transform，简写为DCT)和量化来编码以形成经量化的变换系数。扫描图案用于扫描二维量化变换系数(transform coefficient)并将其转换为编码符号。对应于经量化变换系数的符号被编码(encode)到比特流中。比特流与其它相关联的信息(例如，与运动信息相关的运动估计)一起包括在最终视频比特流中。

图1是具有自适应帧间/帧内预测的视频解码器的示范性框图。视频比特流由可变长度解码器(variable length decoder，简写为VLD)110接收，以将比特流解码为与编码残差和各种编码信息(例如，运动向量)相对应的编码符号。编码的残差由逆扫描(inverse scan，简写为IS)112处理，以将一维量化系数转换为二维量化系数，其使用逆量化(inverse quantization，简写为IQ)114和逆变换(inverse transform，简写为IT)116进一步处理以恢复残差117。为了重构像素值，使用加法器118将残差添加到预测数据119。预测数据119由帧间/帧内选择单元120提供，其从帧内预测单元122选择帧内预测数据或从运动补偿单元124选择帧间预测数据。运动补偿单元124需要运动向量(MV)信息以访问存储在解码图片缓冲器128中的对应参考数据。因此，MV计算单元126用于提取和导出所需的MV信息。来自加法器的输出对应于重构的像素数据121。为了减轻重构的图像中的编码伪像，通常使用去块滤波器130。在高级编码系统中也可以使用附加的环路滤波器。滤波的重构视频数据被存储在解码图片缓冲器128中以用于显示或者作为用于其它图片的帧间预测的参考数据。

如图1所示，滤波后的重构视频数据被存储在解码图像缓冲器128中。用于帧间预测的参考数据从解码图像缓冲器128中读取。对于双预测(bi-prediction)，每个块由两个参考块预测，因此，必须从解码图像缓冲器访问两个块。此外，当使用分数像素(fractional-pel)MV时，可能必须访问参考块周围的额外像素数据以便执行内插。因此，与用于帧间预测的参考数据访问相关联的存储器带宽可能非常高。随着不断增加的视频分辨率的趋势，所需的存储器带宽可对视频解码器系统施加强大的挑战。

为了节省与参考数据访问有关的存储器带宽，内部存储器可用于存储预期频繁使用的参考数据。在这种情况下，将重构的数据从系统存储器提取到内部参考存储器。因此，可以从内部存储器检索期望被重新使用的参考数据，而不是从外部存储器重复检索引起存储器带宽消耗的参考数据。内部参考存储器通常在以比系统存储器更高的速度操作的高速缓冲存储器中实现。由于内部参考存储具有较高的单位成本，所以内部参考存储的大小通常远小于系统存储器的大小。