[发明专利]一种运动物体实例分割方法

权利要求书

1.一种运动物体实例分割方法，其特征在于，包括以下步骤：

S1：将视频帧的图像序列通过Flownet2网络方法获得光流估计图像序列以及Mask-RCNN方法获得实例分割图像序列，共同作为网络的输入，将视频帧的图像序列、光流估计图像序列结果以及实例分割图像序列合并送入U²-Onet网络中获得运动分割结果；

S2：通过运动分割网络的输出获得运动物体分割的结果，并提取运动轮廓的结果，将实例分割的结果与运动轮廓提取结果融合，获得实例级别的运动物体的分割结果。

2.根据权利要求1所述的一种运动物体实例分割方法，其特征在于：所述U²-Onet网络主要包括步骤a1：

a1:每次将S1获取到的一帧光流图像、两帧实例分割图像、两帧连续的视频图像一起传输到第一阶段的编码器中，再通过第一阶段的编码器通过降采样的方式编码到第二阶段的编码器，通过第二阶段的编码器通过降采样的方式编码到第三阶段的编码器中，通过第三阶段的编码器通过降采样的方式编码到第四阶段的编码器，通过第四阶段的编码器通过降采样的方式编码到第五阶段的编码器，通过第五阶段的编码器通过降采样的方式编码到第六阶段的编码器中；通过第六阶段的编码器将采样特征图通过上采样的方式解码到第五阶段的解码器中，通过第五阶段的解码器通过上采样的方式解码到第四阶段的解码器中，再通过第四阶段的解码器通过上采样的方式解码到第三阶段的解码器中，通过第三阶段的解码器通过上采样的方式解码到第二阶段的解码器中，再通过第二阶段的解码器通过上采样的方式解码到第一阶段的解码器中；依据尺度注意力机制，使得第一阶段的解码器、第二阶段的解码器、第三阶段的解码、第四阶段的解码器、第五阶段的解码器和第六阶段的编码器均与对应的注意力模块指向连接，输出图像序列的运动分割结果。

3.根据权利要求1所述的一种运动物体实例分割方法，其特征在于：所述U²-Onet运动分割网络中的编码器和解码器都是一个ORSU模块，ORSU模块主要由以下三部分组成：

(1)输入卷积层，它使用OctConv卷积来进行局部特征提取，OctConv的使用进一步减少了计算和内存消耗，同时提高了分割精度，该层将输入特征图X(H×W×C_in)转换为通道数为C_out的输出特征图F₁(x)。

(2)高度为L的类似U-Net结构的对称编码器-解码器结构，L值越大结构深度越深，该结构将输入卷积层的结果F₁(x)作为输入，学习提取和编码多尺度上下文信息得到u(F₁(x)，u代表如图2所示的类似U-Net的结构；

(3)一个融合局部特征和多尺度特征的残差连接，融合总和为F₁(x)+u(F₁(x)。

4.根据权利要求1所述的一种运动物体实例分割方法，其特征在于：所述步骤a1的U²-Onet运动分割网络由以下三部分组成：

(1)六个阶段的编码器，更大的L值获得的ORSU块是用于提取高度和宽度更大的特征图的更大比例信息，在En_5和En_6阶段，这两个阶段特征图的分辨率相对较低，所以都使用ORSU-4F块，ORSU-4F块是使用膨胀卷积的ORSU的膨胀版本；

(2)与其对称编码器结构相似的五个阶段解码器；

(3)多尺度注意力机制，在网络的每个尺度上，我们添加一个包含通道和空间注意机制的注意力模块，注意力模块采用CBAM(Convolutional Block Attention Module)，通过注意力机制消除混叠效应，同时，通过通道注意机制为特征图的通道分配不同的重要性，以及通过空间注意机制来发现特征图的哪些部分更重要，从而增强了运动物体在空间维度的显着性。