[发明专利]视频动作识别模型的训练方法、装置、计算设备及存储介质

说明书

本发明公开一种视频动作识别模型的训练方法、装置、计算设备及存储介质，该方法包括：按预设的采样策略对样本视频进行采样，得到至少两个图片序列，每个所述图片序列包括从所述样本视频采集的按时序排列的多帧图片；通过R(2+1)D网络对所述图片序列进行特征提取，得到所述样本视频的视频序列特征；将所述视频序列特征输入多标签分类模块进行处理得到视频动作分类结果，并基于所述视频动作分类结果计算损失函数；根据所述损失函数的计算结果调整所述R(2+1)D网络和多标签分类模块，得到目标视频动作识别模型。根据本发明实施例可以有效解决动作识别任务同一输入视频多个类别同时出现导致难以归类的问题，而且对较长的视频输入也可以有效识别。

技术领域

本发明涉及神经网络技术领域，特别涉及一种视频动作识别模型的训练方法及装置、视频动作识别方法及装置、计算设备及存储介质。

背景技术

视频动作识别是当下人工智能的一个热门课题，通过这一技术可以让计算机识别判断出视频中的某些特定动作，也能让计算机更好地去感知理解视频里发生的故事内容，从而在视频分类、电子监控、广告投放等场景中有着广泛应用。相比于图像，视频内容更加复杂多变，且视频拍摄时可能存在遮挡、抖动、视角变化等，为动作识别带来更多困难。并且，不同于静态图片，视频中还包含了时序信息。如何有效利用其中的时序信息，与空间信息有机结合起来是实现视频动作识别的必经之路。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

鉴于以上技术问题，本发明提供了一种视频动作识别模型的训练方法、装置、计算设备及存储介质，其可以有效解决动作识别任务同一输入视频多个类别同时出现导致难以归类的问题，而且对较长的视频输入也可以有效识别。

根据本发明的一个方面，提供一种视频动作识别模型的训练方法，其包括：

按预设的采样策略对样本视频进行采样，得到至少两个图片序列，每个所述图片序列包括从所述样本视频采集的按时序排列的多帧图片；

通过R(2+1)D网络对所述图片序列进行特征提取，得到所述样本视频的视频序列特征；

将所述视频序列特征输入多标签分类模块进行处理得到视频动作分类结果，并基于所述视频动作分类结果计算损失函数；

根据所述损失函数的计算结果调整所述R(2+1)D网络和多标签分类模块，得到目标视频动作识别模型。

根据本发明的另一方面，提供一种视频动作识别方法，其包括：

获取待识别的目标视频；

按预设的采样策略对所述目标视频进行采样，得到至少两个图片序列，每个所述图片序列包括从所述目标视频采集的按时序排列的多帧图片；

将所述图片序列输入利用根据本发明所述的训练方法训练的目标视频动作识别模型进行视频动作识别。

根据本发明的另一方面，提供一种视频动作识别模型的训练装置，其包括：

图片采样模块，用于按预设的采样策略对样本视频进行采样，得到至少两个图片序列，每个所述图片序列包括从所述样本视频采集的按时序排列的多帧图片；

特征提取模块，用于通过R(2+1)D网络对所述图片序列进行特征提取，得到所述样本视频的视频序列特征；

动作识别模块，用于将所述视频序列特征输入多标签分类模块进行处理得到视频动作分类结果，并基于所述视频动作分类结果计算损失函数；

调整模块，用于根据所述损失函数的计算结果调整所述R(2+1)D网络和多标签分类模块，得到目标视频动作识别模型。