[发明专利]视频聚类方法及装置

权利要求书

1.一种视频聚类方法，其特征在于，所述方法包括：

获取视频集合，所述视频集合包括多个待处理的视频；

通过特征提取模型对所述视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量；所述特征提取模型是利用多个样本视频的图像信息和所述样本视频对应的标签信息对原始模型进行训练得到的，所述标签信息包括用于描述所述样本视频在多个样本视频中的编号的第一标签，以及用于描述所述样本视频所属聚类类别的第二标签：所述原始模型包括第一分支网络和聚类模块，所述第一分支网络用于学习所述样本视频的图像信息以及所述第一标签，所述聚类模块用于辅助所述第一分支网络学习所述第二标签；其中，不同样本视频的第一标签不同；

根据各视频的视频语义特征向量对所述视频集合中的视频进行聚类，将所述视频集合中各视频划分为至少一个聚类类别。

2.根据权利要求1所述的方法，其特征在于，所述通过特征提取模型对视频集合中各视频的视频帧序列进行特征提取，得到各视频的视频语义特征向量之前，所述方法还包括：

利用训练样本集中多个样本视频的图像信息和所述样本视频对应的标签信息，对所述原始模型中的第一分支网络按训练周期交替进行第一迭代训练和第二迭代训练，得到训练后的第一分支网络；将训练后的第一分支网络作为所述特征提取模型；

在每一训练周期，按照如下的过程对所述原始模型中的第一分支网络进行训练：

根据所述样本视频的第一标签和所述样本视频的第一视频语义特征向量对所述第一分支网络进行第一迭代训练；所述样本视频的第一视频语义特征向量是上一训练周期中第二迭代训练完成后的第一分支网络对所述样本视频的视频帧序列进行特征提取得到的；在首个训练周期中，通过初始的第一分支网络对所述样本视频的视频帧序列进行特征提取得到对应的第一视频语义特征向量；

若所述第一迭代训练中的迭代次数达到第一设定次数，根据所述样本视频的第二标签和所述样本视频的第二视频语义特征向量对所述第一分支网络进行第二迭代训练，直至第二迭代训练的迭代次数达到第二设定次数；其中，所述样本视频的第二视频语义特征向量是通过本次训练周期中第一迭代训练完成后的第一分支网络对所述样本视频的视频帧序列进行特征提取得到的。

3.根据权利要求2所述的方法，其特征在于，所述根据所述样本视频的第一标签和所述样本视频的第一视频语义特征向量对所述第一分支网络进行第一迭代训练，包括：

通过上一训练周期中第二迭代训练结束后的第一分支网络对每一样本视频的视频帧序列进行特征提取，得到各样本视频的第一视频语义特征向量；

根据各样本视频的第一视频语义特征向量和各样本视频的第一标签计算目标损失函数的第一损失函数值；

基于所述第一损失函数值，调整所述第一分支网络的参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述样本视频的第二标签和所述样本视频的第二视频语义特征向量对所述第一分支网络进行第二迭代训练，包括：

通过本次训练周期中第一迭代训练结束后的第一分支网络对每一样本视频的视频帧序列进行特征提取，得到各样本视频的第二视频语义特征向量；

通过所述聚类模块根据各样本视频的第二视频语义特征向量对所述训练样本集中的样本视频进行聚类，将所述训练样本集中的样本视频划分为至少一个聚类类别，将所述样本视频所属的聚类类别对应的第二编号作为所述样本视频的第二标签；

根据所述样本视频的第二视频语义特征向量和所述样本视频的第二标签计算所述目标损失函数的第二损失函数值；

基于所述第二损失函数值，调整所述第一分支网络的参数。

5.根据权利要求4所述的方法，其特征在于，所述通过所述聚类模块根据各样本视频的第二视频语义特征向量对所述训练样本集中的样本视频进行聚类，将所述训练样本集中的样本视频划分为至少一个聚类类别，包括：

获取本次训练周期对应的类别总数；

由所述聚类模块基于所述类别总数，根据各样本视频的第二视频语义特征向量对所述训练样本集中的样本视频进行聚类，将所述训练样本集中的样本视频划分为至少一个聚类类别；其中，下一训练周期对应的类别总数大于本次训练周期对应的类别总数。