[发明专利]对帧序列中目标对象的标注方法及系统

说明书

本发明公开一种对帧序列中目标对象的标注方法，包括：预先训练目标跟踪模型和目标检测模型；将所述帧序列输入至目标跟踪模型以获取所述目标对象在每一帧图像上的第一关联位置信息；对于每一帧图像执行以下步骤：采用所述目标检测模型检测与所述目标对象同类别的至少一个对象在当前帧图像中的至少一个第二关联位置信息；根据对应于所述当前帧图像的第一关联位置信息和所述至少一个第二关联位置信息确定所述目标对象在所述当前帧图像上的目标关联位置信息。通过目标检测模型对目标跟踪模型所确定的每帧图像上的对象的关联位置信息进行了辅助检测，提升了目标对象检测的准确性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种对帧序列中目标对象的标注方法及系统。

背景技术

对连续帧图片进行标注时，采取按组标注，由同一标注员对连续帧图片组(两帧之间的时间间隔较大，例如，两帧之间的时间间隔大于0.5s，即每帧采集两张图片)进行标注。但标注员在标注过程中，由于标注图片多，标注对象多，往往产生标注速度慢，准确率低的问题。

行业中连续帧标注过程中可以实现连续帧图片中同一对象的标签一致性。将连续帧图片设置为一个标注题目，由同一标注员进行标注。在第一张标注某标注对象后，第二张自动复制第一张的标注框包括标签和位置大小；标注员根据第二张图片对象实际位置调整框位置，第三张图片会自动复制第二张图的标注框，以此类推完成此对象所有图片的标注。整个标注过程需要标注员逐张对图片进行标注，标注效率低下，而且人工手动标注众多图片容易产生疲劳，从而出现标注错误。

相关技术中采用视频对象跟踪方法来自动跟踪视频中的每帧图像中所存在的对象。例如，该方法包括步骤1：通过基础卷积神经网络选定当前帧和前一帧的高概率相对应的目标及其周围目标(包含干扰物)；步骤2：通过卷积神经网络提取这些目标的特征；步骤3：利用当前帧和前一帧的特征计算相似矩阵；步骤4：使用相似矩阵推测当前帧中的真实目标位置。

然而发明人在实现本发明的过程中发现，相关技术中的视频对象跟踪方法对于视频跟踪表现较好，但是在大间隔(低频率，如一秒一帧或一秒两帧)抽帧后的序列上，虽然能计算出目标的大致位置，但其检测出的包围框准确性较差，无法在标注平台上使用。原因在于相关技术中使用的特征严重依赖于训练数据集的样本分布，即训练样本均是每帧相邻的，不存在抽帧情况。

对于需要大间隔抽帧背景下，模型学习到的特征在该场景下是不适用的，特别是运动幅度特征，从而导致包围框的准确度大幅下降。

发明内容

本发明实施例提供一种对帧序列中目标对象的标注方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种对帧序列中目标对象的标注方法，包括：

预先训练目标跟踪模型和目标检测模型；

将所述帧序列输入至目标跟踪模型以获取所述目标对象在每一帧图像上的第一关联位置信息；

对于每一帧图像执行以下步骤：

采用所述目标检测模型检测与所述目标对象同类别的至少一个对象在当前帧图像中的至少一个第二关联位置信息；

根据对应于所述当前帧图像的第一关联位置信息和所述至少一个第二关联位置信息确定所述目标对象在所述当前帧图像上的目标关联位置信息。

在一些实施例中，所述目标对象在每一帧图像上的第一关联位置信息包括：所述目标对象在每一帧图像上的标注框的第一位置信息；

所述至少一个对象在当前帧图像中的至少一个第二关联位置信息包括：所述至少一个对象在当前帧图像中的至少一个标注框的第二位置信息；

所述目标对象在所述当前帧图像上的目标关联位置信息包括：所述目标对象在所述当前帧图像上的标注框的目标位置信息。