[发明专利]基于深度学习的无监督视频分割方法

权利要求书

1.一种基于深度学习的无监督视频分割方法，其特征在于，包括：

建立编码解码深度神经网络，所述编码解码深度神经网络包括：静态图像分割流网络、帧间信息分割流网络以及融合网络；其中，所述静态图像分割流网络用于对当前视频帧进行前景背景分割处理，所述帧间信息分割流网络用于对所述当前视频帧和下一视频帧之间的光流场信息进行运动物体的前景背景分割；

将所述静态图像分割流网络和帧间信息分割流网络输出的分割图像通过所述融合网络进行融合后，得到视频分割结果。

2.根据权利要求1所述的基于深度学习的无监督视频分割方法，其特征在于，所述建立编码解码深度神经网络，包括：

建立静态图像分割流网络，并通过已经进行静态图像分割的图像对所述静态图像分割流网络进行训练；

建立帧间信息分割流网络，并通过已经进行帧间信息分割的视频对所述帧间信息分割流网络进行训练；

利用完全标注的视频分割数据训练所述编码解码深度神经网络。

3.根据权利要求2所述的基于深度学习的无监督视频分割方法，其特征在于，所述静态图像分割流网络包括：全卷积网络构成的编码部分和解码部分，其中，

编码部分的全卷积网络包括：五层级联的广义卷积层和与第五层广义卷积层级联的一层扩张卷积层，位于第六层的所述扩张卷积层包括四类不同尺度的扩张，每一类构成一个输出路，四类输出路的输出结果的平均值为所述编码部分的输出结果；

解码部分的全卷积网络为：三层循环卷积层和三层上采样层构成的全卷积网络；所述解码部分的全卷积网络，用于输出与输入图片分辨率一致的图片分割结果。

4.根据权利要求3所述的基于深度学习的无监督视频分割方法，其特征在于，编码部分的全卷积网络中五层广义卷积层包括级联的第一广义卷积层、第二广义卷积层、第三广义卷积层、第四广义卷积层、第五广义卷积层，其中：

第一广义卷积层依次包括：卷积层A11、激活层、卷积层A12、激活层、池化层；

第二广义卷积层依次包括：卷积层A21、激活层、卷积层A22、激活层、池化层；

第三广义卷积层依次包括：卷积层A31、激活层、卷积层A32、激活层、卷积层A33、激活层、池化层；

第四广义卷积层依次包括：卷积层A41、激活层、卷积层A42、激活层、卷积层A43、激活层、池化层；

第五广义卷积层依次包括：卷积层A51、激活层、卷积层A52、激活层、卷积层A53、激活层、池化层；

编码部分的全卷积网络中与第五层广义卷积层级联的所述扩张卷积层的包括：并联的四类扩张卷积层，其中：

第一类扩张卷积层依次包括：第一尺度扩张卷积层、激活层、随机丢弃层、卷积层、激活层、随机丢弃层、卷积层；

第二类扩张卷积层依次包括：第二尺度扩张卷积层、激活层、随机丢弃层、卷积层、激活层、随机丢弃层、卷积层；

第三类扩张卷积层依次包括：第三尺度扩张卷积层、激活层、随机丢弃层、卷积层、激活层、随机丢弃层、卷积层；

第四类扩张卷积层依次包括：第四尺度扩张卷积层、激活层、随机丢弃层、卷积层、激活层、随机丢弃层、卷积层。

5.根据权利要求4所述的基于深度学习的无监督视频分割方法，其特征在于，解码部分的全卷积网络中，每层上采样层与相应的循环卷积层级联，其中：

第一上采样层与第三循环卷积层级联，所述第一上采样层用于对上一层的输出进行两倍上采样；所述第三循环卷积层用于将编码部分卷积层A33的输出进行卷积处理并和第一上采样层的输出进行循环卷积操作；

第二上采样层与第二循环卷积层级联，所述第二上采样层用于对上一层的输出进行两倍上采样；所述第二循环卷积层用于将编码部分卷积层A22的输出进行卷积处理并和第二上采样层的输出进行循环卷积操作；

第三上采样层与第一循环卷积层级联，所述第三上采样层用于对上一层的输出进行两倍上采样；所述第一循环卷积层用于将编码部分卷积层A12的输出进行卷积处理并和第三上采样层的输出进行循环卷积操作。