[发明专利]包括基于CNN的环路滤波器的编码方法与装置及解码方法与装置

说明书

本发明涉及一种包括基于CNN的环路滤波器的编码装置及解码装置。根据一实施例的编码装置，包括：滤波部，通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部，基于所述原始图像与重建信息生成所述预测图像；基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出所述重建信息；以及编码部，基于所述滤波信息与所述预测图像信息执行编码。

技术领域

下列的实施例涉及包括基于CNN的环路滤波器的编码方法与装置及解码方法与装置。

背景技术

现有的环路滤波技术，是为缓解由于量化导致的因邻近的编码块间像素值的差异引起的区块边界在视觉上十分刺眼的问题，沿着区块边界，利用区块编码类型、区块边界像素强度、运动信息、量化后残差信号存在信息等，缓解邻近编码块的边界的像素间差异的方法。此时，尽管通过使用固定的滤波器系数而未传送系数，但仅在缓解编码块的边界的画质退化方面具有效果。

近来，在高效率视频编码(HEVC，High Efficiency Video Coding)标准中，不仅对编码块边界适用去区块滤波(de-blocking filtering)，进一步地，还适用用于减少由于量化引起的在图像边缘引起垂直方向发生的环状伪影(ringing artefact)及亮度差伪影的取样自适应偏移(Sample Adaptive Offset)滤波作为第二次环路滤波。此时，不仅不能很好地改善高频模糊伪影(blurring artefact)，此外，由于需要将样本偏移及边缘方向类型传送至解码器，由此，在提高编码效率方面具有局限。

发明内容

要解决的技术问题

实施例能够提供技术，通过执行环路滤波改善由于量化引起的区块边界伪影、环状伪影、以及高频模糊伪影(blurring artefact)。

并且，实施例能够提供技术，在编码装置及解码装置中使用得到训练的基于CNN的环路滤波器，不传送环路滤波器系数的同时改善画质。

并且，实施例能够提供技术，编码装置及解码装置使用得到训练的基于CNN的环路滤波器，将画质得到改善的帧作为参考帧，很大地提高编码效率或解码效率。

并且，实施例能够提供技术，按照切片类型适用环路滤波。

并且，实施例能够提供技术，按照编码块适用环路滤波。

并且，实施例能够提供技术，按照指定的图像区域适用环路滤波。

解决问题的技术方法

根据一实施例的基于CNN的环路滤波器学习方法，包括以下步骤：通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息(filteringinformation)；通过对所述滤波信息执行逆滤波而生成逆滤波信息(inverse filteringinformation)；通过将所述逆滤波信息输入至基于CNN的环路滤波器(CNN based in-loopfilter)而生成重建信息；计算所述重建信息与基于所述原始图像的原始信息的差异；以及基于所述差异调整所述基于CNN的环路滤波器的权重(weight)，并且，所述预测图像基于所述原始图像与所述重建信息生成。

生成所述滤波信息的步骤，包括：通过对所述残差图像进行变换及量化，从而生成滤波信息的步骤，生成所述逆滤波信息的步骤，包括：通过对所述滤波信息进行反量化及反变换，从而生成逆滤波信息的步骤。

生成所述滤波信息的步骤包括：基于根据量化参数(quantization parameter)的量化区间，对所述残差图像执行滤波的步骤，所述调整步骤，包括：调整对于所述量化区间的权重的步骤。

生成所述滤波信息的步骤，包括：基于根据畸变值的畸变值区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述畸变值区间的权重的步骤。