[发明专利]卷积神经网络训练方法、装置以及设备

权利要求书

1.一种卷积神经网络训练方法，包括：

获取第一样本视频帧序列；

将所述第一样本视频帧序列输入至卷积神经网络，得到第一向量序列；

将所述第一向量序列输入至图片掩码自注意力模型，得到第二向量序列；

基于所述第一向量序列和所述第二向量序列，计算第一损失；

基于所述第一损失对所述卷积神经网络和所述图片掩码自注意力模型的参数进行调整，得到无监督训练完成的卷积神经网络。

2.根据权利要求1所述的方法，其中，所述获取第一样本视频帧序列，包括：

对第一视频进行抽帧，得到第一视频帧序列；

按照预设提取方式从所述第一视频帧序列中提取N个第一视频帧，组成所述第一样本视频帧序列，其中，N为正整数，所述预设提取方式包括以下至少一项：等间隔提取、关键帧提取和随机提取。

3.根据权利要求1所述的方法，其中，所述将所述第一向量序列输入至图片掩码自注意力模型，得到第二向量序列，包括：

将所述第一向量序列按照掩码方式输入至所述图片掩码自注意力模型，得到所述第二向量序列，其中，所述掩码方式是先利用预设值替换掉所述第一向量序列中排序在当前第一向量之后的第一向量，再利用自注意力方式计算所述当前第一向量对应的第二向量。

4.根据权利要求1所述的方法，其中，所述基于所述第一向量序列和所述第二向量序列，计算第一损失，包括：

将所述第一向量序列输入至第一投影层，得到第三向量序列，以及将所述第二向量序列输入至第二投影层，得到第四向量序列，其中，所述第三向量序列与所述第四向量序列在同一向量空间，且维度相同；

计算所述第三向量序列中的第三向量与所述第四向量序列中对应的第四向量的相似度；

基于所述相似度，计算所述第一损失。

5.根据权利要求1-4中任一项所述的方法，其中，所述方法还包括：

获取第二样本视频帧序列，其中，所述第二样本视频帧序列标注有样本视频类别；

将所述第二样本视频帧序列输入至所述无监督训练完成的卷积神经网络，得到第五向量序列；

计算所述第五向量序列中的第五向量的均值，得到样本视频向量；

将所述样本视频向量输入至多层感知机，得到预测视频类别；

基于所述样本视频类别和所述预测视频类别，计算第二损失；

基于所述第二损失对所述多层感知机的参数进行调整，得到有监督训练完成的多层感知机；

基于所述无监督训练完成的卷积神经网络和所述有监督训练完成的多层感知机，部署视频分类模型。

6.根据权利要求5所述的方法，其中，所述获取第二样本视频帧序列，包括：

对第二视频进行抽帧，得到第二视频帧序列；

按照预设提取方式从所述第二视频帧序列中提取N个第二视频帧，组成所述第二样本视频帧序列，其中，N为正整数，所述预设提取方式包括以下至少一项：等间隔提取、关键帧提取和随机提取。

7.一种视频分类方法，包括：

获取待分类视频；

从所述待分类视频中提取待分类视频帧序列；

将所述待分类视频帧序列输入至视频分类模型，得到所述待分类视频的类别，其中，所述视频分类模型是利用权利要求5或6所述的方法训练得到的。

8.一种卷积神经网络训练装置，包括：

第一获取模块，被配置成获取第一样本视频帧序列；

第一输入模块，被配置成将所述第一样本视频帧序列输入至卷积神经网络，得到第一向量序列；

第二输入模块，被配置成将所述第一向量序列输入至图片掩码自注意力模型，得到第二向量序列；

第一计算模块，被配置成基于所述第一向量序列和所述第二向量序列，计算第一损失；

第一调整模块，被配置成基于所述第一损失对所述卷积神经网络和所述图片掩码自注意力模型的参数进行调整，得到无监督训练完成的卷积神经网络。