[发明专利]从全局到类别特征表达学习的动作识别方法和系统

说明书

本发明提供一种从全局到类别特征表达学习的动作识别方法和系统，对输入的动作视频，使用深度神经网络学习动作数据的全局特征表达并提取特征；通过提取到的全局特征表达，使用特征通道稀疏度来获取类别间的相似度结构关系；对输入的每一类视频动作，使用全卷积深度神经网络学习其相应的类别掩膜；使用得到的类别间相似度结构关系来约束类别掩膜的相似程度；对输入的动作视频，使用深度神经网络学习动作数据的类别特定特征表达并提取相应特征；对提取的全局和类别特定特征进行融合，得到最终具有区分性表达的特征并完成动作的识别。能够对输入的动作视频提取从全局到类别特定的特征表达，进行复杂动作的识别。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种从全局到类别特征表达学习的动作识别方法和系统。

背景技术

近年来，随着计算机视觉的快速发展，现有的相应算法在图像的识别理解方面已经取得了很好的效果。而对于视频模态的数据来说，其相对于其他模态的数据承载着巨大的信息量，在数据的处理和识别的难度上都有着很大的挑战，视频动作行为的识别在计算机视觉的发展中占据重要的地位，如安防监控中异常行为监测，人机的肢体交互对话等。越来越多的具体应用推动着相关计算机视觉算法的不断发展，从而能够解决实际场景中遇到的各种难题。

现阶段的行为识别与理解有着很多的研究方向，如短视频分类任务，长视频动作的检测任务，视频检索任务等。但在处理视频数据时有着相同的技术难点与挑战。实际场景中视频的复杂场景变化往往会引入很多和具体任务本身不相关的噪声信息，图像信息就有着很多冗余信息的特点，在由多帧图像堆叠的视频数据中，其信噪比就显得尤其的低。所以对这种时空数据的特征学习与提取就成为了大家研究的热点与挑战。针对这种低信噪比的时空数据，现有的技术往往聚焦于视频特征本身的学习表达上，它们一般结合图像与运动信息来对动作视频进行特征表达，往往忽略了所需识别的动作类别本身的结构关系。

专利文献CN106845329A公开了一种基于深度卷积特征多通道金字塔池化的动作识别方法,该方法将单帧视频的表观特征和多帧的视频运动特征结合起来，使用空间金字塔的结构获取特征图在不同尺度下的局部信息，最终使用支持向量机进行特征分类。但是在学习特征表达的时候没有考虑到不同动作类别的类别结构关系。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种从全局到类别特征表达学习的动作识别方法和系统。

根据本发明提供的一种从全局到类别特征表达学习的动作识别方法，包括：

全局特征提取步骤：对输入的动作视频，使用深度神经网络学习动作视频中的动作数据，提取得到全局特征表达；

类别结构关系获取步骤：通过提取到的全局特征表达，利用每个类别特征通道稀疏度之间的相似关系，获取各类别间的相似度结构关系；

类别特征掩膜获取步骤：对输入的每一类动作数据，使用全卷积深度神经网络学习所述动作数据对应的类别掩膜；

类别正则约束步骤：在学习类别掩膜的过程中，使用得到的各类别间的相似度结构关系对类别掩膜的相似程度进行约束；

类别特定特征提取步骤：对输入的动作视频，使用深度神经网络学习动作数据，提取类别特征，得到类别特征表达。

特征融合步骤：对提取的全局特征表达和类别特征表达进行融合，得到最终具有区分性的区别特征表达，以完成动作识别。

优选地，所述全局特征提取步骤中，全局特征表达的提取网络为2D和3D的组合卷积网络，在网络浅层使用2D卷积核，以节省计算和储存开销，在网络深层使用3D卷积核，以建模时间序列关系。

优选地所述类别结构关系获取步骤中，类别特征通道稀疏度为数值在0到1之间的向量，以刻画输入深度神经网络的动作数据在不同通道上的响应强度；统计每个类别下所有样本的平均类别特征通道稀疏度，通过类别间通道稀疏度的关系来获取类别间的相似度结构关系。