[发明专利]视频编码中具有运动微调的双向预测视频处理方法和装置

说明书

公开了用于通过双向预测对当前块进行编码或解码的示例性视频处理方法和装置。为当前块确定L0和L1参考块，并应用运动向量微调其使用对当前块中每个处理单元执行的运动估计搜索来微调L0和L1参考块。根据当前块中每个处理单元的成本，双向光流操作会提前终止。运动向量微调和双向光流提前终止中用于成本计算的处理单元是统一的。如果双向光流操作未提前终止，则将双向光流操作应用于当前块，以进一步微调L0和L1参考块。从微调的L0和L1参考块导出最终帧间预测子，以对当前块进行编码或解码。

【交叉引用】

本发明要求2019.3.5提交的申请号为62/813,806，名称为“Alignment of DMVRand BDOF process”的美国临时专利申请的优先权。该美国临时专利申请的内容通过引用一并并入本说明书中。

【技术领域】

本发明涉及视频编码和解码系统中的视频处理方法和装置。特别地，本发明涉及在帧间预测(inter picture prediction)中通过双向预测对视频数据进行编码或解码。

【背景技术】

高效视频编解码(HEVC)标准是由ITU-T研究组的视频编码联合协作团队(JCT-VC)的视频编码专家组开发的最新视频编解码标准。HEVC标准改进了其进行中的标准H.264/AVC的视频压缩性能，以满足对更高图片解析度、更高帧频和更好视频品质的需求。

跳过和合并跳过和合并模式提高了HEVC标准中运动向量(MV)的编码效率，因为运动信息是从空间相邻块或时间上并置的块(temporally collocated block)继承而来的。为了在跳过或合并模式下编解码块，仅发信表示从候选集中选择的最终合并候选的合并索引，而不发信运动信息。被以跳过或合并模式编解码的块重用的运动信息包括MV、预测方向和所选择的最终候选的参考图片索引。注意，如果所选择的最终候选是时间运动候选，则参考图片索引总是被设置为零。当以合并模式对块进行编解码时，对预测残差进行编解码，但是，由于以跳过模式编码的块的残差数据被强制为零，因此跳过模式进一步跳过了对预测残差的发信。

图1示出了为在HEVC标准中以跳过或合并模式编解码的当前预测单元(PU)10构建的合并候选集。合并候选集由与当前PU 10的相邻块相关联的四个空间运动候选和与当前PU 10的并置的PU 12相关联的一个时间运动候选组成。如图1所示，第一合并候选为左预测子A₁ 112，第二个合并候选是上方预测子B₁ 114，第三合并候选是右上方预测子B₀ 113，第四合并候选是左下方预测子A₀ 111。左上方预测子B₂ 115包含在合并候选集中，以替换不可用的空间预测子。第五合并候选是第一可用时间预测子T_BR 121和T_CTR 122的时间预测子。编码器基于运动向量补偿(例如通过速率失真微调决策(Rate-Distortion Optimization，简写为RDO)，为每个以跳过或合并模式编码的PU从候选集中选择一个最终候选，并且代表所选最终候选的索引会发信给解码器。解码器根据视频比特流中传输的索引从候选集中选择相同的最终候选。由于跳过和合并候选的推导是相似的，因此为了方便起见，下文中提到的“合并”模式可以对应于合并模式以及跳过模式。