[发明专利]视频动作检测方法及装置

权利要求书

1.一种视频动作检测方法，其特征在于，包括：

从训练集中选取训练视频，获取训练视频中每一帧图像的骨架数据以及对图像中动作的识别结果和预测结果；

利用神经网络对每一帧图像的骨架数据进行处理，获取每一帧图像的识别信息和预测信息；

根据所述识别信息与识别结果、以及所述预测信息与预测结果，对神经网络进行优化；

重复上述步骤，直至神经网络收敛；

在神经网络收敛后，利用神经网络对待测视频中每帧图像的骨架数据进行处理，得到相应的识别信息和预测信息。

2.根据权利要求1所述的方法，其特征在于，利用神经网络对每一帧图像的骨架数据进行处理，获取每一帧图像的识别信息和预测信息，包括：

将每一帧图像的骨架数据分别输入到神经网络的特征提取部分，得到相应的特征信息；

将所述特征信息输入到多任务神经网络部分，得到每一帧图像的识别信息和预测信息。

3.根据权利要求1所述的方法，其特征在于，根据所述识别信息与识别结果、以及所述预测信息与预测结果，对神经网络进行优化，包括：

根据所述识别信息和所述识别结果计算识别误差；

根据所述预测信息和所述预测结果计算预测误差；

根据所述识别误差和所述预测误差的加权和，得到总误差，并利用随机梯度下降法反向传播神经网络参数。

4.根据权利要求1-3任一项所述的方法，其特征在于，在神经网络收敛后，利用神经网络对待测视频中每帧图像的骨架数据进行处理，得到相应的识别信息和预测信息，包括：

神经网络收敛后，获取待测视频的骨架数据；

将待测视频中的每一帧图像的骨架数据输入到神经网络的特征提取部分，得到相应的特征信息；

将所述待测视频对应的特征信息输入到多任务神经网络部分，得到每一帧图像的识别信息和预测信息；

根据所述识别信息和所述预测信息，确定视频中每一帧图像对应的动作类别以及动作结束时间或下一动作的开始时间。

5.根据权利要求4所述的方法，其特征在于，获取训练视频中每一帧图像中动作的识别结果和预测结果，包括：

向用户播放所述训练视频，并接收用户根据所述训练视频输入的各帧图像对应的动作类别以及动作结束时间或开始时间；

根据所述动作类别以及动作结束时间或开始时间确定所述识别结果和预测结果。

6.一种视频动作检测装置，其特征在于，包括：

获取模块，用于从训练集中选取训练视频，获取训练视频中每一帧图像的骨架数据以及对图像中动作的识别结果和预测结果；

处理模块，用于利用神经网络对每一帧图像的骨架数据进行处理，获取每一帧图像的识别信息和预测信息；

优化模块，用于根据所述识别信息与识别结果、以及所述预测信息与预测结果，对神经网络进行优化；

重复模块，用于判断申请网络是否收敛，若判断结果为否，则触发所述获取模块，若判断结果为是，则触发检测模块；

所述检测模块，用于在神经网络收敛后，利用神经网络对待测视频中每帧图像的骨架数据进行处理，得到相应的识别信息和预测信息。

7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：

将每一帧图像的骨架数据分别输入到神经网络的特征提取部分，得到相应的特征信息；

将所述特征信息输入到多任务神经网络部分，得到每一帧图像的识别信息和预测信息。

8.根据权利要求6所述的装置，其特征在于，所述优化模块具体用于：

根据所述识别信息和所述识别结果计算识别误差；

根据所述预测信息和所述预测结果计算预测误差；

根据所述识别误差和所述预测误差的加权和，得到总误差，并利用随机梯度下降法反向传播神经网络参数。