[发明专利]视频分类方法、装置、计算机可读存储介质和电子设备

权利要求书

1.一种视频分类方法，包括：

获取第一视频帧中目标对象的帧内动作分类数据，所述第一视频帧为视频帧序列中含有目标对象的视频帧；

根据所述第一视频帧的至少一个尺度的特征数据以及第二视频帧的至少一个尺度的特征数据，获取所述第一视频帧中所述目标对象的帧间动作分类数据；所述第二视频帧为所述视频帧序列中所述第一视频帧之前的视频帧；

根据所述帧内动作分类数据和所述帧间动作分类数据，确定所述目标对象的动作分类，

其中，所述根据所述第一视频帧的至少一个尺度的特征数据以及第二视频帧的至少一个尺度的特征数据，获取所述第一视频帧中所述目标对象的帧间动作分类数据，包括：

针对从所述第一视频帧提取的任一所述尺度的特征数据以及从第二视频帧提取的相应尺度的特征数据，进行以下处理：

根据从所述第一视频帧提取的当前尺度的所述特征数据和从所述第二视频帧提取的所述当前尺度的所述特征数据，获取所述当前尺度的单尺度运动特征数据，所述当前尺度的值小于所述当前尺度的前一尺度的值；

将所述单尺度运动特征数据与已处理尺度的尺度融合运动特征数据进行融合，获取所述当前尺度的尺度融合运动特征数据；

根据所述当前尺度的尺度融合运动特征数据，获取对应于当前尺度的帧间动作分类数据。

2.根据权利要求1所述的视频分类方法，其中，所述单尺度运动特征数据包括特征时间梯度数据和特征空间梯度数据；

所述根据从所述第一视频帧提取的当前尺度的所述特征数据和从所述第二视频帧提取的所述当前尺度的所述特征数据，获取所述当前尺度的单尺度运动特征数据，包括：

对从所述第一视频帧提取的所述特征数据进行卷积降维，对从所述第二视频帧提取的所述特征数据进行卷积降维；

将经过卷积降维的所述第一视频帧的所述特征数据和经过卷积降维的所述第二视频帧的所述特征数据相减，获取特征时间梯度数据；

通过边缘算子计算经过卷积降维的所述第一视频帧的所述特征数据和经过卷积降维的所述第二视频帧的所述特征数据之间的特征空间梯度数据。

3.根据权利要求1所述的视频分类方法，其中，所述方法还包括：

通过用于特征提取的第一神经网络模型，从所述第一视频帧提取至少一个尺度的特征数据，并且从所述第二视频帧提取相应尺度的特征数据。

4.根据权利要求3所述的视频分类方法，其中，所述获取所述第一视频帧中所述目标对象的帧内动作分类数据，包括：

通过所述第一神经网络模型，根据所述第一视频帧的至少一个尺度的特征数据，获取所述第一视频帧中所述目标对象的帧内动作分类数据。

5.根据权利要求4所述的视频分类方法，其中，所述根据所述第一视频帧的至少一个尺度的特征数据以及第二视频帧的至少一个尺度的特征数据，获取所述第一视频帧中所述目标对象的帧间动作分类数据，包括：

通过用于视频帧间动作分类的第二神经网络模型，根据所述第一视频帧的至少一个尺度的特征数据以及第二视频帧的至少一个尺度的特征数据，获取所述第一视频帧中所述目标对象的帧间动作分类数据。

6.根据权利要求5所述的视频分类方法，其中，所述第二神经网络模型包括与所述尺度的个数对应的多个帧间动作检测子网模块；

所述根据所述第一视频帧的至少一个尺度的特征数据以及第二视频帧的至少一个尺度的特征数据，获取所述第一视频帧中所述目标对象的帧间动作分类数据，包括：

针对从所述第一视频帧提取的任一所述尺度的特征数据以及从第二视频帧提取的相应尺度的特征数据，进行以下处理：

通过对应于当前尺度的帧间动作检测子网模块，根据从所述第一视频帧提取的当前尺度的所述特征数据和从所述第二视频帧提取的所述当前尺度的所述特征数据，获取所述当前尺度的单尺度运动特征数据；将所述单尺度运动特征数据与已处理尺度的尺度融合运动特征数据进行融合，获取所述当前尺度的尺度融合运动特征数据；根据所述当前尺度的尺度融合运动特征数据，获取对应于当前尺度的帧间动作分类数据。