[发明专利]基于卷积神经网络的视频目标跟踪与分割方法及系统

权利要求书

1.一种基于卷积神经网络的视频目标跟踪与分割方法，其特征在于，该视频目标跟踪与分割方法包括：

步骤S10，通过训练好的检测器对待处理视频序列中每一个图像进行设定类别目标的检测分割；所述检测器基于CNN卷积神经网络构建；

步骤S20，放弃序列中不包含设定类别目标的图像，并将检测分割获得的各设定类别目标图像扩展为设定比例后裁剪成设定大小，获得预处理视频序列；

步骤S30，初始化训练好的跟踪器，选取所述预处理视频序列中第t帧作为当前帧，分别进行当前帧的已有类别的目标跟踪，获得第1帧至当前帧的已有类别目标跟踪轨迹；所述跟踪器基于CNN卷积神经网络构建；

步骤S40，若当前帧存在新的目标，则初始化新的训练好的跟踪器，进行新的目标跟踪，获得第1帧至当前帧的新的目标跟踪轨迹；

步骤S50，令t＝t+1并跳转步骤S30，直至所述预处理视频序列中每一帧图像目标跟踪完成，获得待处理视频序列对应的各设定类别目标的跟踪轨迹；

步骤S60，基于所述各设定类别目标的跟踪轨迹，通过训练好的重分类器进行前向传递，获得各设定类别目标的分类预测结果；所述重分类器基于CNN卷积神经网络构建；

步骤S70，对于各设定类别目标，分别对其分类预测结果求平均，获得待处理视频序列中各设定类别目标的分类结果；

所述检测器，其训练方法为：

步骤A10，获取带mask标签的训练图像，并通过图像修补技术将目标区域填充，获得目标图像和背景图像；

步骤A20，将所述目标图像移动到所述背景图像中预设数量的设定位置，获得训练样本集；

步骤A30，通过所述训练样本集和目标图像的标签进行检测器的迭代训练，并根据损失函数值下降方向更新检测器参数，直至损失函数值低于设定阈值或达到预设训练次数，获得训练好的检测器。

2.根据权利要求1所述的基于卷积神经网络的视频目标跟踪与分割方法，其特征在于，步骤S20中“将检测分割获得的目标图像扩展为设定比例后裁剪成设定大小”，其方法为：

将检测分割获得的目标图像扩展为原尺寸的1.5倍，并将扩展后的图像裁剪成224*224大小。

3.根据权利要求1所述的基于卷积神经网络的视频目标跟踪与分割方法，其特征在于，所述跟踪器，其训练方法为：

步骤B10，获取大量带标签网络图像作为预学习样本集；

步骤B20，基于所述预学习样本集，结合基于分类的损失函数迭代进行跟踪器预学习，获得具有基础物体识别性能的第一跟踪器；

步骤B30，获取大规模视频跟踪数据作为迁移学习样本集；

步骤B40，基于所述迁移学习样本集，结合基于分类和回归的损失函数迭代进行第一跟踪器迁移学习，获得具有视频跟踪性能的第二跟踪器；

步骤B50，将获取的视频实例数据通过步骤A10-步骤A20对应的方法处理，获得精细学习样本集；

步骤B60，基于所述精细学习样本集，结合基于分类和回归的损失函数迭代进行第二跟踪器精细学习，获得训练好的跟踪器。

4.根据权利要求1所述的基于卷积神经网络的视频目标跟踪与分割方法，其特征在于，步骤S30中“分别进行当前帧的已有类别的目标跟踪”的目标跟踪过程还包括：

对于各设定类别目标，计算当前目标的跟踪mask与检测mask之间的重叠率，若所述重叠率大于设定阈值，则将当前目标对应的跟踪器重新初始化。

5.根据权利要求1所述的基于卷积神经网络的视频目标跟踪与分割方法，其特征在于，所述重分类器，其训练方法为：

步骤C10，将获取的视频实例数据通过步骤S10-步骤S50对应的方法处理，获得各设定类别目标的跟踪轨迹的集合作为重分类器训练样本集；

步骤C20，基于所述重分类器训练样本集，结合基于分类和回归的损失函数迭代进行重分类器训练，获得训练好的重分类器。

6.根据权利要求3或5所述的基于卷积神经网络的视频目标跟踪与分割方法，其特征在于，所述基于分类的损失函数为Softmax函数或A-Softmax函数；所述基于分类和回归的损失函数为Contrastive函数或Triplet函数。