[发明专利]基于卷积神经网络的视频目标跟踪与分割方法及系统

说明书

本发明属于视频目标跟踪与分割领域，具体涉及了一种基于卷积神经网络的视频目标跟踪与分割方法及系统，旨在解决现有图像检测方法难以实现大规模视频的多目标跟踪与分割的问题。本发明包括：对输入视频进行目标检测、分割、图像裁剪等图像预处理操作；通过多种数据组织方式对视频跟踪进行训练，分别是预训练、迁移学习和精细训练，使得卷积神经网络具备对复杂场景的适应能力，同时，利用视频检测结果进行不断的初始化以及重新初始化；通过重分类器对视频目标轨迹进行重新的类别判断与打分，获得输入视频各设定类别目标的分类结果。本发明在保证效率的前提下，实现了大规模视频中高精度、高准确性的像素级多目标跟踪与分割。

背景技术

视频实例分割(VIS)任务的主要特征在于，它不提供用于初始化跟踪器的标签信息，并且需要一种算法来输出多个目标的跟踪轨迹。该任务需要在整个视频中分割和定位任意数量的目标对象，并区分多个目标对象，为每个对象分配一个唯一的标识号，该标识号在不同帧之间保持一致。视频实例分割与视频对象分割密切相关，可以通过图像实例检测方法初始化和统一视频对象分割算法。同时，与单目标视觉目标跟踪算法相比，视频实例分割极具挑战性，后者要求算法同时跟踪多个目标对象。

目前大多数的检测算法主要适用于图像场景，而现实中存在丰富的视频输入场景。对于这种场景，直接将图像检测算法迁移过来会带来较大的精度损失。一般来说，将图像检测算法直接应用于视频场景中将会使召回率(recall)大幅度降低，视频场景中的运动模糊等特殊属性使得检测目标的模态和静止图像的样本分布非常不一致。同时，如果在视频中进行像素级的跟踪分割也是非常具有挑战性的。对于视频跟踪，需要大量的视频集的标注样本，而大规模的视频标注成本非常昂贵。如何通过数据增强的方式，生成具有多样性的训练样本，以及如何在视频序列中进行数据增强具有重大意义

总的来说，现有大规模视频的标注成本过于昂贵，使得视频目标跟踪与分割模型不具备大量的多样性的训练样本，从而限制了模型在视频中进行像素级的目标跟踪与分割的性能。

发明内容

为了解决现有技术中的上述问题，即现有图像检测方法难以实现大规模视频的多目标跟踪与分割的问题，本发明提供了一种基于卷积神经网络的视频目标跟踪与分割方法，该视频目标跟踪与分割方法包括：

步骤S10，通过训练好的检测器对待处理视频序列中每一个图像进行设定类别目标的检测分割；所述检测器基于CNN卷积神经网络构建；

步骤S20，放弃序列中不包含设定类别目标的图像，并将检测分割获得的各设定类别目标图像扩展为设定比例后裁剪成设定大小，获得预处理视频序列；

步骤S30，初始化训练好的跟踪器，选取所述预处理视频序列中第t帧作为当前帧，分别进行当前帧的已有类别的目标跟踪，获得第1帧至当前帧的已有类别目标跟踪轨迹；所述跟踪器基于CNN卷积神经网络构建；

步骤S40，若当前帧存在新的目标，则初始化新的训练好的跟踪器，进行新的目标跟踪，获得第1帧至当前帧的新的目标跟踪轨迹；

步骤S50，令t＝t+1并跳转步骤S30，直至所述预处理视频序列中每一帧图像目标跟踪完成，获得待处理视频序列对应的各设定类别目标的跟踪轨迹；

步骤S60，基于所述各设定类别目标的跟踪轨迹，通过训练好的重分类器进行前向传递，获得各设定类别目标的分类预测结果；所述重分类器基于CNN卷积神经网络构建；

步骤S70，对于各设定类别目标，分别对其分类预测结果求平均，获得待处理视频序列中各设定类别目标的分类结果。

在一些优选的实施例中，所述检测器，其训练方法为：

步骤A10，获取带mask标签的训练图像，并通过图像修补技术将目标区域填充，获得目标图像和背景图像；

步骤A20，将所述目标图像移动到所述背景图像中预设数量的设定位置，获得训练样本集；