[发明专利]一种视频分类方法、装置及设备、存储介质

权利要求书

1.一种视频分类方法，其特征在于，包括：

将待分类处理的视频帧序列输入至已训练的神经网络中，以由所述神经网络对所述视频帧序列中每N个视频帧在目标域上进行特征关联得到对应的第一关联特征向量，对所有第一关联特征向量在时间域上进行特征关联得到第二关联特征向量，并对所述第二关联特征向量进行分类得到并输出分类结果；

依据所述神经网络输出的分类结果确定所述视频帧序列的类别；

其中，所述N为小于所述视频帧序列长度的正整数，所述目标域至少包括空间域。

2.如权利要求1所述的视频分类方法，其特征在于，所述神经网络包括至少一个第一关联层；

所述由神经网络对所述视频帧序列中每N个视频帧在目标域上进行特征关联得到对应的第一关联特征向量，包括：

由各个所述第一关联层的卷积子层对输入的每N个视频帧执行特征提取处理得到表征目标特征的二维特征向量，并将所述二维特征向量输出至与卷积子层对应的融合子层；

由各个所述第一关联层的非局部均值滤波子层对输入的每N个视频帧执行空间域上的非局部均值滤波处理得到空间域关联数据，并将所述空间域关联数据输出至与非局部均值滤波子层对应的融合子层；

由各个所述第一关联层的融合子层对输入的所述二维特征向量和空间域关联数据对应执行融合处理，得到并输出对应的第一关联特征向量；

其中，所述卷积子层包括二维CNN层；所述N等于1。

3.如权利要求2所述的视频分类方法，其特征在于，由各个所述第一关联层的非局部均值滤波子层对输入的每N个视频帧执行空间域上的非局部均值滤波处理得到空间域关联数据，包括：

由非局部均值滤波子层遍历输入的视频帧中需滤波的目标像素；

由所述非局部均值滤波子层针对每个遍历到的目标像素，将该输入的视频帧中以该目标像素为中心的指定大小的区域确定为当前块，逐像素遍历该输入的视频帧并确定以每次遍历到的像素为中心像素且与所述当前块相同大小的参考块，计算所述当前块与每个参考块的相似度得到与参考块对应的相似度权重，将相似度权重加权至对应参考块的中心像素的像素值并对加权后的所有参考块的中心像素的像素值求和，将求和所得值确定为该目标像素滤波后的像素值；

由非局部均值滤波子层将各个目标像素的滤波后的像素值确定为该输入的视频帧对应的空间域关联数据。

4.如权利要求1所述的视频分类方法，其特征在于，所述神经网络包括至少一个第一关联层；所述目标域还包括时间域；

由所述神经网络对所述视频帧序列中每N个视频帧在目标域上进行特征关联得到对应的第一关联特征向量，包括：

由各个第一关联层的所述卷积子层对输入的每N个视频帧执行特征提取处理得到表征目标特征的三维特征向量，并将所述三维特征向量输出至与卷积子层对应的融合子层；

由各个第一关联层的非局部均值滤波子层对输入的每N个视频帧执行时空域上的非局部均值滤波处理得到所述N个视频帧的时空域关联数据，并将所述时空域关联数据输出至与非局部均值滤波子层对应的融合子层；

由各个所述第一关联层的融合子层对输入的所述三维特征向量和时空域关联数据执行融合处理，得到并输出对应的第一关联特征向量；

其中，所述卷积子层包括三维CNN层；所述N大于1且小于等于所述视频帧序列长度的一半。

5.如权利要求4所述的视频分类方法，其特征在于，由各个第一关联层的非局部均值滤波子层对输入的每N个视频帧执行时空域上的非局部均值滤波处理得到所述N个视频帧的时空域关联数据，包括：

由非局部均值滤波子层遍历输入的N个视频帧所构成的时空三维数据体中需滤波的目标像素；

由非局部均值滤波子层针对每个遍历到的目标像素，在该时空三维数据体中以该目标像素为中心的指定大小的时空三维区域确定为当前块，逐像素遍历该时空三维数据体并确定以每次遍历到的像素为中心像素且与所述当前块相同大小的参考块，计算所述当前块与每个参考块的相似度得到与参考块对应的相似度权重，将相似度权重加权至对应参考块的中心像素的像素值并对加权后的所有参考块的中心像素的像素值求和，将求和所得值确定为该目标像素滤波后的像素值；

由非局部均值滤波子层将各个目标像素的滤波后的像素值确定为该输入的N个视频帧对应的时空域关联数据。