[发明专利]物体分类方法、物体分类器的训练方法、装置和电子设备

权利要求书

1.一种物体分类器的训练方法，包括：

从样本视频帧序列中的各个视频帧获取含有物体对象的多个第一物体框序列；

从样本视频帧序列对应的字幕文本中获取关键词信息；

使用所述第一物体框序列以及所述关键词信息训练用于识别物体对象的物体分类器，

其中，所述从样本视频帧序列中的各个视频帧获取含有物体对象的多个第一物体框序列，包括：

通过用于提取物体候选框的第一神经网络，在所述样本视频帧序列的各个视频帧中获取初始的物体候选框数据；

对所述初始的物体候选框数据进行跟踪，得到初始的运动轨迹数据；

通过用于轨迹提取的第二神经网络，确定所述初始的运动轨迹数据的预测准确数据；

根据所述预测准确数据在所述初始的运动轨迹数据中筛选目标的运动轨迹数据，以所述目标的运动轨迹数据及其对应的物体候选框数据作为所述第一物体框序列。

2.根据权利要求1所述的方法，其中，所述第一物体框序列包括物体对象的物体候选框数据和运动轨迹数据。

3.根据权利要求2所述的方法，其中，所述使用所述第一物体框序列以及所述关键词信息训练用于识别物体对象的物体分类器，包括：

使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器；

和/或，

使用所述第一物体框序列以及所述关键词信息迭代训练用于识别物体对象的物体分类器。

4.根据权利要求3所述的方法，其中，所述关键词信息包括关键词以及所述关键词对应的时间轴信息；

所述使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器，包括：

设置所述物体分类器的分类标签，其中，所述物体分类器的分类标签，根据不同类别的物体对象的运动轨迹数据与所述时间轴信息的匹配程度在所述关键词中选择得到，所述不同类别的物体对象根据所述物体候选框数据对不同的物体对象进行聚类得到。

5.根据权利要求1～4中任一项所述的方法，其中，所述从样本视频帧序列对应的字幕文本中获取关键词信息，包括：

通过关键词筛选算法在所述字幕文本中提取表示物体类别的词作为关键词，以所述关键词及其对应的时间轴信息所述关键词信息。

6.根据权利要求3～4中任一项所述的方法，其中，使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器，包括：

通过用于特征提取的第三神经网络，对所述第一物体框序列的物体候选框数据进行特征提取，并对特征提取后的物体候选框数据对不同的物体对象进行聚类，根据所述聚类结果确定不同类别的物体对象；

使用所述关键词对应的所述时间轴信息，与所述不同类别的物体对象对应的运动轨迹数据进行匹配，根据匹配程度选择关键词作为所述物体分类器的分类标签。

7.根据权利要求3～4中任一项所述的方法，其中，使用所述第一物体框序列以及所述关键词信息设置用于识别物体对象的物体分类器，包括：

通过用于特征提取的第三神经网络，对所述物体候选框数据进行特征提取，并对特征提取后的物体候选框数据对不同的物体对象进行聚类；

根据所述聚类结果，从多个所述第一物体框序列当中，选取一个或多个类别的物体对象的第二物体框序列；

使用所述关键词对应的所述时间轴信息，分别与所述第二物体框序列的运动轨迹数据进行匹配，根据匹配程度选择关键词作为所述第二物体框序列各自的分类标注数据；

通过所述第二物体框序列以及各自的分类标注数据，训练所述物体分类器。