[发明专利]一种基于编码辅助信息的多实例图像分割方法

说明书

本发明公开了一种基于编码辅助信息的多实例图像分割方法，属于图像编码与实例分割技术领域。本发明针对现有多实例图像分割方法只用原始图像进行实例分割所导致的不足，提供一种基于编码辅助信息的多实例图像分割方法。本发明对输入图像通过图像解码算法得到不同大小的亮度和色差宏块，并提取出帧内预测方向信息，从而将得到的编码单元尺度谱和帧内预测方向谱作为编码辅助信息，能够充分利用了图像的信息。本发明将长短期记忆网络用于除文本分类和自然语言处理以外的领域，用长短期记忆网络将尺度谱、方向谱和原始图像融合在一起，从而提高多实例图像分割的准确度。

技术领域

本发明涉及图像编码与实例分割技术领域，具体涉及一种基于编码辅助信息的多实例图像分割方法。

背景技术

在计算机视觉领域，对图像进行多实例分割时，传统方法只需要将训练集的每幅图像输入分割网络，但是这样并没有充分利用图像的信息，因而分割效果并没有得到极大的提升，与分类和检测任务的准确率相比也存在明显的差距。

由于图像的数据量很大，为了便于存储，现实生活中的图像都是经过图像压缩算法得到的压缩图像。例如JPEG图像是通过JPEG压缩算法得到的；视频是通过H.264/HEVC视频压缩算法得到的。视频和图像压缩算法一般会经过颜色模式转变(RGB-YUV)、采样、分块、离散余弦变换(DCT)、Zigzag排序、量化和熵编码这些过程。在图像或视频编码过程中，针对不同大小的亮度与色差宏块，编码和帧内预测方向有所不同。由于编码单元大小相同或者帧内预测方向相同时，表明其信息相关性较强，若在对图像进行多实例分割时，将编码单元的尺度信息和帧内预测的方向信息结合起来，与传统的方法相比，由于考虑了更多的图像信息，有助于改善多实例分割网络的效果。

发明内容

本发明的发明目的在于：针对现有多实例图像分割方法只用原始图像进行实例分割所导致的不足，提供一种基于编码辅助信息的多实例图像分割方法。本发明从图像中提取其编码单元尺度信息和帧内预测方向信息，得到相应的尺度谱和方向谱作为辅助信息，通过长短期记忆网络(LSTM)将原始图像与两个特征谱融合，来进行多实例图像分割

本发明的基于编码辅助信息的多实例图像分割方法，包括下列步骤：

步骤1、设置基于卷积神经网络的分割网络：

所述分割网络包括特征金字塔网络、提议生成网络、感兴区域提取网络、掩膜预测网络和全连接层；

其中，特征金字塔网络用于特征提取，并将得到的特征谱分别输入提议生成网络和感兴区域提取网络；

提议生成网络用于生成边界框提议，并将边界框提议输入感兴区域提取网络；

感兴区域提取网络，用于提取感兴区域；并将感兴区域分别通过两个全连接层，对其进行分类和边框回归；

连接感兴区域提取网络的输出的掩膜预测网络的包括两个分支；

其中，第一个分支包括顺次连接的四个完全相同的卷积层，以及一个反卷积层；所述反卷积层输出M*M*K的特征谱，其中M为预设值，K表示样本的类别数；

第二分支包括顺次连接的两个卷积层、一个全连接层和变形层；所述全连接层用于得到1*1*M²的特征向量，变形层用于生成预测前景和背景的M*M*1的特征谱；

串联掩膜预测网络的两个分支的特征谱，得到M*M*(K+1)的预测掩膜；

且所述分割网络的损失函数Loss为；Loss＝loss_cls+loss_box+loss_mask，其中，loss_cls、loss_box和loss_mask分别表示分割网络的分类损失、边框回归损失和掩膜损失；

步骤2，对分割网络进行卷积神经网络训练处理；