[发明专利]基于卷积神经网络的块内容分类方法

说明书

技术领域

本发明涉及视频编码技术领域，尤其涉及一种基于卷积神经网络的块内容分类方法。

背景技术

卷积神经网络作为深度学习算法中的一种，目前已经被广泛应用于图像分类和模式识别领域中。与此同时，高效视频编码(HEVC)扩展延伸的屏幕内容编码(SCC)采用了调色板模式(Palette)，帧内块预测模式(IBC)来提高编码效率，这样也不可避免地带来了很高的编码复杂度。

预测每个编码单元的内容类型是关键的一步，虽然目前已有一些工作通过低层特征，比如梯度、方差、熵和颜色数量等，可以被用于编码块的分类。然而，相关方法对于编码块内容类型预测的准确度还有待提高。

发明内容

本发明的目的是提供一种基于卷积神经网络的块内容分类方法，可以提高内容类型预测的准确度与计算效率。

本发明的目的是通过以下技术方案实现的：

一种基于卷积神经网络的块内容分类方法，包括：

构建数据集，并将其内容类型作为训练样本的标签；

构建卷积神经网络，将训练样本转换为灰度图，再将灰度图的每个像素用八比特二进制数进行表示，提取每个像素的末位比特来做为卷积神经网络的输入，通过训练获得末位比特-卷积神经网络模型；

对输入的N×N的编码块进行预测时，首先利用末位比特-卷积神经网络模型预测当前编码块的内容类型，若输出为相机拍摄块，则获得分类结果；若输出为计算机生成块，则继续利用末位比特-卷积神经网络模型进行预测，获得相应的计算机生成文本块或计算机生成非文本块的分类结果。

由上述本发明提供的技术方案可以看出，根据预先训练的卷积神经网络模型，对每个编码单元预测其内容类型，预测结果具有较高的准确度；此外，利用预测结果作为预处理方法，可以很容易的与快速模式选择和码率控制模块结合，来指导编码模式选择和码率控制，以减少冗余计算，提高压缩质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的将原始图像的灰度图转换成卷积神经网络的输入格式的示意图；

图2为本发明实施例提供的基于卷积神经网络的块内容分类方法的示意图；

图3为本发明实施例提供的不同大小编码块内容类型预测的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

现有的屏幕内容编码标准中增加了一些新的编码工具，包括调色板模式(Palette)，帧内块匹配(Intra Block Copy，IBC)等等。这些工具显著的提高了压缩质量，同时也大大增加了编码复杂度。因此寻找一种有效的方法，既可以保持压缩质量，又可以节约编码时间，将是一个非常重要和有前景的方法。本发明提出的一种基于卷积神经网络的块内容分类方法作为一个预处理方法，可以很容易的与快速模式选择和码率控制模块结合，来解决这个问题。

本发明实施例提供的一种基于卷积神经网络的块内容分类方法，主要包括如下步骤：

步骤1、构建数据集，并将其内容类型作为训练样本的标签。

步骤2、构建卷积神经网络，将训练样本转换为灰度图，再将灰度图的每个像素用八比特二进制数进行表示，提取每个像素的末位比特来做为卷积神经网络的输入，通过训练获得末位比特-卷积神经网络模型。

如图1所示，为将训练样本(即原始图)的灰度图转换为卷积神经网络的输入格式的示意图；图1(a)为RGB模式的原始图转换后的灰度图，图1(b)为转换后的末位比特图。

从图1(b)中可以看出：相机拍摄内容和计算机生成内容的末位比特分布有着较高的区分度，相机拍摄内容区域呈现无序雪花状，而计算机生成内容区域则能基本反映原图的纹理。因此通过末位比特图来区分相机拍摄内容和计算机生成内容能降低分类难度，提高分类准确度。