[发明专利]一种动作检测方法、装置、终端设备和存储介质

说明书

本申请涉及图像处理技术领域，提出一种动作检测方法、装置、终端设备和存储介质。该方法包括：获取包含目标动作的目标视频序列，所述目标视频序列包括一一对应的目标像素帧序列和目标深度图序列；根据所述目标像素帧序列生成像素特征图像，所述像素特征图像包含所述目标像素帧序列具有的各帧图像的特征；根据所述目标深度图序列生成深度特征图像，所述深度特征图像包含所述目标深度图序列具有的各帧图像的特征；将所述像素特征图像和所述深度特征图像输入已训练的深度神经网络执行图像特征的提取与融合处理，以确定所述目标动作的类别。采用该方法能够在一定程度上减弱环境因素对检测样本的干扰，从而提高动作检测的准确率。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种动作检测方法、装置、终端设备和存储介质。

背景技术

动作检测作为模式识别的研究分支，广泛应用于视频安全监控、视频检索和健康医疗等领域。动作检测是指对视频片段中的目标（例如人体）进行识别与跟踪，以确定该目标的动作类别。

目前，通常采用基于RGB图像的动作检测方法，该方法通过对RGB图像序列的像素特征进行分析以实现动作检测。然而，作为检测样本的RGB图像容易受到光照变化等环境因素的干扰，导致动作检测的准确率较低。

发明内容

有鉴于此，本申请实施例提供了一种动作检测方法、装置、终端设备和存储介质，能够提高动作检测的准确率。

本申请实施例的第一方面提供了一种动作检测方法，包括：

获取包含目标动作的目标视频序列，所述目标视频序列包括一一对应的目标像素帧序列和目标深度图序列；

根据所述目标像素帧序列生成像素特征图像，所述像素特征图像包含所述目标像素帧序列具有的各帧图像的特征；

根据所述目标深度图序列生成深度特征图像，所述深度特征图像包含所述目标深度图序列具有的各帧图像的特征；

将所述像素特征图像和所述深度特征图像输入已训练的深度神经网络执行图像特征的提取与融合处理，以确定所述目标动作的类别。

在本申请实施例中，首先，获取包含目标动作的目标视频序列，该目标视频序列包括一一对应的像素帧序列和深度图序列；然后，根据像素帧序列生成包含其中各帧图像的图像特征的像素特征图像，以及根据深度图序列生成包含其中各帧图像的图像特征的深度特征图像；最后，将像素特征图像和深度特征图像输入一个已训练的深度神经网络进行图像特征的提取与融合处理，从而确定目标动作的类别。上述过程将视频图像的像素特征和深度特征融合，利用像素信息和深度信息的互补性，能够在一定程度上减弱环境因素对检测样本的干扰，从而提高动作检测的准确率。

在本申请的一种实现方式中，所述深度神经网络包括特征提取模块和特征融合模块，所述将所述像素特征图像和所述深度特征图像输入已训练的深度神经网络执行图像特征的提取与融合处理，以确定所述目标动作的类别，可以包括：

将所述像素特征图像和所述深度特征图像输入所述特征提取模块进行处理，得到图像语义特征；

将所述图像语义特征输入所述特征融合模块进行处理，得到融合后的图像特征；

基于所述融合后的图像特征确定所述目标动作的类别。

在本申请的一种实现方式中，所述根据所述目标像素帧序列生成像素特征图像，可以包括：

在时间维度上对所述目标像素帧序列执行稀疏采样处理，得到第一图像序列；

将所述第一图像序列包含的各帧图像融合，得到所述像素特征图像；

所述根据所述目标深度图序列生成深度特征图像，可以包括：

在时间维度上对所述目标深度图序列执行稀疏采样处理，得到第二图像序列；