[发明专利]行为识别方法、装置、终端设备及计算机可读存储介质

说明书

本申请适用于图像处理技术领域，提供了一种行为识别方法、装置、终端设备及计算机可读存储介质，包括：获取待处理视频中的多个视频片段各自的三维视频数据；将每个所述视频片段的所述三维视频数据转换为二维视频数据；根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。通过上述方法，能够有效减少视频行为识别任务中的数据处理量，同时提高行为识别结果的准确率。

技术领域

本申请属于图像处理技术领域，尤其涉及一种行为识别方法、装置、终端设备及计算机可读存储介质。

背景技术

基于视频的行为识别技术是指，通过对视频数据的分析，识别出视频中的行为类型的技术。由于视频是由多帧图像按照时序组合而成的，相比于图像的二维数据，视频增加了时序维度上的数据。因此，基于视频的行为识别技术需要对视频的三维数据进行分析处理。

随着深度学习技术的发展，该项技术逐渐渗透到基于视频的行为识别技术中。现有技术中，在图像识别任务中2D卷积处理的基础上，扩展到3D卷积处理，即利用3D卷积处理方法处理视频的三维数据。但是这种方法数据处理量较大，网络训练时难以收敛，无法保证识别结果的准确率。

发明内容

本申请实施例提供了一种行为识别方法、装置、终端设备及计算机可读存储介质，可以减少视频行为识别的数据处理量、提高识别准确率。

第一方面，本申请实施例提供了一种行为识别方法，包括：

获取待处理视频中的多个视频片段各自的三维视频数据；

将每个所述视频片段的所述三维视频数据转换为二维视频数据；

根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果；

根据所述多个视频片段各自的所述初始行为识别结果确定所述待处理视频的最终行为识别结果。

在本申请实施例中，将待处理视频的三维视频数据转换为二维视频数据，相当于将视频的三维数据处理任务转换为了二维数据处理任务，大大减少了数据处理量；另外，由于三维视频数据中包含了时序特征，因此，上述方法中不仅能够提取出视频的图像特征信息，还能够提取出视频中图像之间的时序特征信息，根据图像特征信息和时许特征信息综合识别视频中的行为类别，有效提高了识别结果的准确度。

在第一方面的一种可能的实现方式中，所述获取待处理视频中的多个视频片段各自的三维视频数据，包括：

对所述待处理视频进行视频抽帧处理，获得所述多个视频片段，其中，所述视频片段中包括多帧图像；

对于每个所述视频片段，根据所述视频片段中包含的各帧图像上的像素生成所述视频片段的所述三维视频数据，其中，所述三维视频数据的尺寸为H×W×T，所述H为所述视频片段中各帧图像在宽度方向上包含的像素个数，所述W为所述视频片段中各帧图像在长度方向上包含的像素个数，所述T为所述视频片段中包含的图像的帧数。

在第一方面的一种可能的实现方式中，所述将每个所述视频片段的所述三维视频数据转换为二维视频数据，包括：

对于每个所述视频片段，将所述视频片段的所述三维视频数据中的每两维数据组合成一组所述二维视频数据，获得所述视频片段的三组所述二维视频数据。

在第一方面的一种可能的实现方式中，所述根据所述多个视频片段各自的所述二维视频数据确定所述多个视频片段各自的初始行为识别结果，包括：

对于每个所述视频片段，提取所述视频片段的三组所述二维视频数据各自的初始特征信息；

将所述视频片段的三组所述二维视频数据各自的所述初始特征信息融合为所述视频片段的融合特征信息；