[发明专利]一种基于深度卷积条件随机场的人体动作识别方法

说明书

本发明公开了一种基于深度卷积条件随机场的人体动作识别方法，所述人体动作识别方法包括以下步骤：根据空间卷积层、子采样层交替获取输入图像序列的空间特征表达；对输入图像序列的空间特征表达进行时间卷积操作得到进一步图像序列特征表达；构建基于时空卷积网络的深度条件随机场识别模型，并进行优化；对待预测视频序列进行优化后的深度条件随机场识别的前向计算，得到待预测视频序列中每一帧图像所属的动作类别标注信息。本发明实现了对图像序列数据的时空变换建模，达到了很好的人体动作识别效果。

技术领域

本发明涉及人体动作识别领域，尤其涉及一种基于深度卷积条件随机场的人体动作识别方法。

背景技术

目前，计算机视觉应用中基于人体动作识别的应用已经成为人工智能领域的一个重要问题。由于动作的各帧之间存在时间上的依赖关系可以自然地形成一个序列标注问题。通过对动作序列的识别问题，识别不同动作图像序列代表的含义，可以进行视频监控，人机交互等场景下的人体行为分析。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的条件随机场方法在进行序列学习过程中主要采用人工设计抽取特征的方式，但在实际应用中无法预知哪些是高性能的人工设计特征。条件随机场方法无法对图像序列数据的时空变换进行很好的建模，特别是当原始输入节点为高维非线性数据时。基于条件随机场改进的非线性方法，如增加核函数的条件随机场等，只能获取浅层特征，无法对数据间复杂的非线性关系进行建模。另外，条件随机场方法无法针对不同场景自动自适应学习数据的特征。

发明内容

本发明提供了一种基于深度卷积条件随机场的人体动作识别方法，本发明实现了对图像序列数据的时空变换建模，达到了很好的人体动作识别效果，详见下文描述：

一种基于深度卷积条件随机场的人体动作识别方法，所述人体动作识别方法包括以下步骤：

根据空间卷积层、子采样层交替获取输入图像序列的空间特征表达；

对输入图像序列的空间特征表达进行时间卷积操作得到进一步图像序列特征表达；

构建基于时空卷积网络的深度条件随机场识别模型，并进行优化；

对待预测视频序列进行优化后的深度条件随机场识别的前向计算，得到待预测视频序列中每一帧图像所属的动作类别标注信息。

其中，所述深度条件随机场识别模型包括：

状态函数，用于获得非线性变换之后序列中的图像数据与类别标签之间的关系；

转移函数，用于一帧图像数据与当前图像经过时空卷积变换的特征、类别标签以及前一帧的类别标签之间的关系；

采用层次前馈网络作为特征抽取器与条件随机场构成的无向图模型进行联合训练。

其中，对深度条件随机场识别模型的优化具体为：

使用随机梯度下降的方式优化目标函数法采用后向传播的方式逐层进行求导。

其中，所述对待预测视频序列进行优化后的深度条件随机场识别的前向计算，得到待预测视频序列中每一帧图像所属的动作类别标注信息的步骤具体为：

通过神经网络的前向计算得到图像序列中每帧图像的高层特征表达，形成图像序列的特征表达，然后通过条件概率最大化得到最可能的标注序列，即每一帧图像所属的动作类别标注信息。