[发明专利]用于参考画面管理的编码器、解码器及其方法

说明书

技术领域

本发明一般地涉及与视频编码和解码有关的参考画面管理，并且特别涉及参考画面的信号通知。

背景技术

H.264，也称为移动画面专家组4(MPEG-4)高级视频编码(AVC)，是最新的视频编码标准。其包括利用了时间和空间预测的、基于块的混合视频编码方案。

高效率视频编码(HEVC)是联合协作团队-视频编码(JCT-VC)当前正在开发的新的视频编码标准。JCT-VC是在MPEG与国际电联电信标准部门(ITU-T)之间的联合计划。当前，工作草案(WD)被定义为包括大的宏块(最大编码单元，缩写为LCU)和众多其他新工具，并且比H.264/AVC更加高效。

在视频传输中，接收机的解码器接收表示画面的比特流，即压缩数据的视频数据分组。压缩数据包括净荷和控制信息。控制信息例如包括关于在参考画面缓冲器中应该存储哪些参考画面的信息。该信息是关于先前接收的画面的相对参考。此外，解码器解码接收的比特流，并且显示解码出的画面。另外，根据控制信息，将解码出的画面存储在参考画面缓冲器中。解码器在解码后续画面时使用这些存储的参考画面。

图1中示出了在如按照H.264/AVC中设计的在接收机处执行的方案的简化流程图。在对画面进行实际解码之前，如果序列参数集(SPS)语法元素gaps_in_frame_num_value_al lowed_flag(允许的帧号值中的间隙的标记)为1，则解析100图像条报头中的frame_num(帧号)，以检测110可能存在的frame_num中的间隙。如果检测到frame_num中的间隙，则创建120，130“不存在的”帧，并将其插入参考画面缓冲器(也称为解码画面缓冲器(DPB))。然后，应用滑动窗处理140和颠簸处理150。

无论是否存在frame_num中的间隙，下一步骤是对当前画面的实际解码160。如果画面的图像条报头包含存储器管理控制操作(MMCO)命令170，则在对画面进行解码之后应用180自适应存储器控制处理，以获得关于要在参考画面缓冲器中存储的画面的相对参考，否则应用滑动窗处理190以获得关于要在参考画面缓冲器中存储的画面的相对参考。作为最后一步，应用“颠簸”处理200，以按正确顺序递送画面。

在H.264/AVC、SVC和HEVC中，所有编码数据被放在网络提取层(NAL)单元中。NAL单元包括编码数据和NAL单元报头。在NAL单元报头中，存在称为nal_ref_idc的语法元素，该语法元素指定NAL单元中包含的画面是否是参考画面。该信息被用在对当前画面的解码处理中。具有nal_ref_idc等于0的画面不能在对后续画面的画面间预测期间用作参考，因此它们被称为非参考画面。Nal_ref_idc在其他方面也是有用的；网络节点或解码器可以丢弃具有nal_ref_idc=0的所有NAL而不转发它们或对它们进行解码，并且所得的比特流仍将是可解码的，原因是没有画面参考该非参考画面。

在SVC和HEVC中，在NAL单元报头中存在temporal_id语法元素，其具有与当前画面的时间层有关的信息。在HEVC和SVC中定义了：如果tIdA小于tIdB，则具有temporal_id=tIdA的画面不能参考具有temporal_id=tIdB的画面。因此，处于较高时间层的画面不能够用于更低时间层中的预测，但是较低时间层中的画面能够用于更高时间层中的预测。有时，在一些或所有画面中，取决于编码结构，一个时间层中的画面被用于相同时间层中的其他画面的预测。除最高时间层之外的任何其他时间层中的画面完全不用于预测的实际使用情形即使存在也很罕见。也即，可以假设，低于最高时间层的时间层中的所有画面将被用于相同时间层或更高时间层中的至少一个画面的预测。

针对任何选定的T，通过移除属于高于时间层T的层的所有画面，能够根据HEVC或SVC比特流创建子流。例如，如果比特流具有四个时间层{0，1，2，3}，则HEVC或SVC解码器完全能够解码已经移除了时间层2和3的比特流。

发明内容

现有解决方案的问题在于：没有可能用一种指示符标记画面或NAL，在已经移除最高时间层的情况下该指示符表明在子流中其是否是参考画面。