[发明专利]物体分类方法、物体分类器的训练方法、装置和电子设备

说明书

本发明实施例提供一种物体分类方法、物体分类器的训练方法、装置和电子设备。一种物体分类器的训练方法，包括：从样本视频帧序列中的各个视频帧获取含有物体对象的多个第一物体框序列；从样本视频帧序列对应的字幕文本中获取关键词信息；使用所述第一物体框序列以及所述关键词信息训练用于识别物体对象的物体分类器。在物体分类器的训练中，无需特别对大量的训练样本进行标注，由此提供了一种弱监督的机器学习方法来训练物体分类器，并且获得具有预测准确性的物体分类器。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种物体分类方法、物体分类器的训练方法、装置和电子设备。

背景技术

对视频进行物体检测是计算机视觉领域的重要问题以及智能视频分析的基础技术。物体检测可广泛应用在在诸如智能监控、自动视频标注以及高级检索等很多重要的应用中。

对视频进行物体检测的技术建立在对图片进行物体检测的基础之上，但是，针对视频的物体检测建模更为复杂。现有的视频物体检测方法具有以下不足和局限性：训练好的物体检测模型只能用于特定物体种类的检测。

发明内容

本发明实施例的目的在于，提供一种用于视频帧序列的物体分类技术以及物体分类器的训练技术。

根据本发明实施例的第一方面，提供一种物体分类器的训练方法，包括：从样本视频帧序列中的各个视频帧获取含有物体对象的多个第一物体框序列；从样本视频帧序列对应的字幕文本中获取关键词信息；使用所述第一物体框序列以及所述关键词信息训练用于识别物体对象的物体分类器。

可选地，所述第一物体框序列包括物体对象的物体候选框数据和运动轨迹数据。

可选地，所述使用所述第一物体框序列以及所述关键词信息训练用于识别物体对象的物体分类器，包括：使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器；和/或，使用所述第一物体框序列以及所述关键词信息迭代训练用于识别物体对象的物体分类器。

可选地，所述关键词信息包括关键词以及所述关键词对应的时间轴信息；所述使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器，包括：设置所述物体分类器的分类标签，其中，所述物体分类器的分类标签，根据不同类别的物体对象的运动轨迹数据与所述时间轴信息的匹配程度在所述关键词中选择得到，所述不同类别的物体对象根据所述物体候选框数据对不同的物体对象进行聚类得到。

可选地，所述从样本视频帧序列中的各个视频帧获取含有物体对象的多个第一物体框序列，包括：通过用于提取物体候选框的第一神经网络，在所述样本视频帧序列的各个视频帧中获取初始的物体候选框数据；对所述初始的物体候选框数据进行跟踪，得到初始的运动轨迹数据；通过用于轨迹提取的第二神经网络，确定所述初始的运动轨迹数据的预测准确数据；根据所述预测准确数据在所述初始的运动轨迹数据中筛选目标的运动轨迹数据，以所述目标的运动轨迹数据及其对应的物体候选框数据作为所述第一物体框序列。

可选地，所述从样本视频帧序列对应的字幕文本中获取关键词信息，包括：通过关键词筛选算法在所述字幕文本中提取表示物体类别的词作为关键词，以所述关键词及其对应的时间轴信息所述关键词信息。

可选地，使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器，包括：通过用于特征提取的第三神经网络，对所述第一物体框序列的物体候选框数据进行特征提取，并对特征提取后的物体候选框数据对不同的物体对象进行聚类，根据所述聚类结果确定不同类别的物体对象；使用所述关键词对应的所述时间轴信息，与所述不同类别的物体对象对应的运动轨迹数据进行匹配，根据匹配程度选择关键词作为所述物体分类器的分类标签。