[发明专利]一种视频分类方法、装置及设备、存储介质

说明书

本发明提供一种视频分类方法、装置及设备、存储介质，视频分类方法，包括：将待分类处理的视频帧序列输入至已训练的神经网络中，以由所述神经网络对所述视频帧序列中每N个视频帧在目标域上进行特征关联得到对应的第一关联特征向量，对所有第一关联特征向量在时间域上进行特征关联得到第二关联特征向量，并对所述第二关联特征向量进行分类得到并输出分类结果；依据所述神经网络输出的分类结果确定所述视频帧序列的类别；其中，所述N为小于所述视频帧序列长度的正整数，所述目标域至少包括空间域。改善对视频在时间域和空间域上的信息表达，有利于提高视频分类准确度。

技术领域

本发明涉及视频处理技术领域，尤其涉及的是一种视频分类方法、装置及设备、存储介质。

背景技术

在一些涉及视频处理的领域中，如安防监控、视频检索、人机交互等领域，需对视频中的场景进行分析，以识别出视频中的事件或行为，如骑车、跳高、击剑、事故、啼哭等，并对发生不同事件或行为的视频进行分类。神经网络的发展对目标识别的准确率带来了很大的提高，于是有了越来越多的应用。

现有的视频分类方法中，利用若干卷积网络从输入的视频中提取特征，再将这些卷积网络通过全连接层连接，以利用全连接层依据各个卷积网络提取的特征对视频进行分类。

上述方式中，通过卷积网络提取的特征缺少时间和空间上的关联，特征并不能完善地表达视频在时间域和空间域上的信息，导致视频分类不准确的问题。

发明内容

有鉴于此，本发明提供一种视频分类方法、装置及设备、存储介质，改善对视频在时间域和空间域上的信息表达，有利于提高视频分类准确度。

本发明第一方面提供一种视频分类方法，包括：

将待分类处理的视频帧序列输入至已训练的神经网络中，以由所述神经网络对所述视频帧序列中每N个视频帧在目标域上进行特征关联得到对应的第一关联特征向量，对所有第一关联特征向量在时间域上进行特征关联得到第二关联特征向量，并对所述第二关联特征向量进行分类得到并输出分类结果；

依据所述神经网络输出的分类结果确定所述视频帧序列的类别；

其中，所述N为小于所述视频帧序列长度的正整数，所述目标域至少包括空间域。

根据本发明的一个实施例，所述神经网络包括至少一个第一关联层；

所述由神经网络对所述视频帧序列中每N个视频帧在目标域上进行特征关联得到对应的第一关联特征向量，包括：

由各个所述第一关联层的卷积子层对输入的每N个视频帧执行特征提取处理得到表征目标特征的二维特征向量，并将所述二维特征向量输出至与卷积子层对应的融合子层；

由各个所述第一关联层的非局部均值滤波子层对输入的每N个视频帧执行空间域上的非局部均值滤波处理得到空间域关联数据，并将所述空间域关联数据输出至与非局部均值滤波子层对应的融合子层；

由各个所述第一关联层的融合子层对输入的所述二维特征向量和空间域关联数据对应执行融合处理，得到并输出对应的第一关联特征向量；

其中，所述卷积子层包括二维CNN层；所述N等于1。

根据本发明的一个实施例，由各个所述第一关联层的非局部均值滤波子层对输入的每N个视频帧执行空间域上的非局部均值滤波处理得到空间域关联数据，包括：

由非局部均值滤波子层遍历输入的视频帧中需滤波的目标像素；