[发明专利]在图像或视频编码系统中处理图像的方法和装置

说明书

本申请提供了一种图像或视频编码或解码系统中的图像处理方法和装置，用于处理分割一个图像为多个非重叠编码树单元(CTU)。接收当前CTU的输入数据并将其分成一个或多个CU。完全在图像边界内的CU被从第一分割类型集合中选择的分割类型分割，并且不完全在图像边界内的CU被从第二分割类型集合中选择的分割类型分割。第二分割类型集合包括至少两种不同的分割类型，以为每个跨界CU选择分割类型提供灵活性。当当前CTU被分割为叶CU以用于预测和变换处理时，对当前CTU进行编码或解码。

交叉申请

本申请主张在2017年9月8日提出的申请号为62/555,687、标题为“Methods andapparatus for coding units of image and video data”的美国专利申请的优先权，以及在2018年4月13日提出的申请号为62/557,102、标题为“Methods and apparatus forcoding units of image and video data”的美国专利申请的优先权。上述申请的内容以引用方式并入本文中。

技术领域

本发明涉及在图像或视频编码系统中编码或解码图像的图像处理方法和装置。具体而言，本发明涉及一种用于不完全在图像边界内的块的块分割方法。

背景技术

高效视频编码(HEVC)标准是由ITU-T研究组的视频编码联合协作小组(JCT-VC)组开发的最新视频编码标准。HEVC标准依赖于基于块的编码结构，将每个图像分成多个非重叠的方形编码树单元(CTU)，也称为最大编码单元(LCU)。以光栅扫描顺序处理图像或切片中的每个单独CTU。在HEVC主配置文件中，CTU的最大和最小大小由序列参数集(SPS)中用信号通知的语法元素指定。使用四叉树(QT)分割结构将每个CTU进一步递归地分割为一个或多个非重叠编码单元(CU)，以便适应各种局部特性。CTU的大小选自64x64，32x32和16x16像素样本。在QT分割结构的每个深度处，N×N块是单个叶CU或分成具有相等的大小为N/2×N/2的四个较小块。具有M×M像素样本大小的CTU是四叉树编码树的根节点，并且四个M/2xM/2块是从根节点分离的子四叉树节点。四个M/2xM/2块中的每一个可以成为另一个母节点以用于另一个分割而被分割为四个子节点，以进一步在每个空间维度中减小一半的大小。如果没有进一步分割编码树节点，则它是叶CU。叶CU大小被限制为大于或等于最小允许CU大小，其也在SPS中指定。图1中示出了递归四叉树分割结构的示例，其中实线指示CTU 100中的CU边界。

一旦CTU被分割为叶CU，每个叶CU依据用于预测的PU分割类型进一步分成一个或多个预测单元(PU)。图2示出了HEVC标准中定义的八种不同的PU分割类型。依据图2中所示的八个PU分割类型之一将每个CU分成一个，两个或四个PU。与CU的递归四叉树分割不同，每个叶CU可以仅被分割一次以形成PU。当相同的预测过程应用于PU中的所有像素时，PU用作用于共享预测信息的基本代表性块。预测信息以PU为基础传送给解码器。在基于PU分割类型获得由预测过程生成的残差数据之后，属于叶CU的残差数据依据另一四叉树分割结构被分割为一个或多个变换单元(TU)，用于将残差数据变换为变换系数以用于紧凑的数据表示。图1中的虚线表示CTU 100中的TU边界。TU是用于对残差数据或变换系数应用变换和量化的基本代表性块。对于每个TU，将具有与TU相同大小的变换矩阵应用于残差数据以生成变换系数，并且这些变换系数被量化并且以TU为基础传送到解码器。

术语编码树块(CTB)，编码块(CB)，预测块(PB)和变换块(TB)被定义为分别与CTU，CU，PU和TU相关的一个颜色分量的二维采样数组。例如，CTU由一个亮度CTB，两个色度CTB及其相关的语法元素组成。类似的关系对CU，PU和TU有效。在HEVC系统中，相同的四叉树分割结构通常应用于亮度和色度分量，除非达到色度块的最小尺寸。