[发明专利]从全局到类别特征表达学习的动作识别方法和系统

权利要求书

1.一种从全局到类别特征表达学习的动作识别方法，其特征在于，包括：

全局特征提取步骤：对输入的动作视频，使用深度神经网络学习动作视频中的动作数据，提取得到全局特征表达；

类别结构关系获取步骤：通过提取到的全局特征表达，利用每个类别特征通道稀疏度之间的相似关系，获取各类别间的相似度结构关系；

类别特征掩膜获取步骤：对输入的每一类动作数据，使用全卷积深度神经网络学习所述动作数据对应的类别掩膜；

类别正则约束步骤：在学习类别掩膜的过程中，使用得到的各类别间的相似度结构关系对类别掩膜的相似程度进行约束；

类别特定特征提取步骤：对输入的动作视频，使用深度神经网络学习动作数据，提取类别特征，得到类别特征表达；

特征融合步骤：对提取的全局特征表达和类别特征表达进行融合，得到最终具有区分性的区别特征表达，以完成动作识别。

2.根据权利要求1所述的从全局到类别特征表达学习的动作识别方法，其特征在于，所述全局特征提取步骤中，全局特征表达的提取网络为2D和3D的组合卷积网络，在网络浅层使用2D卷积核，以节省计算和储存开销，在网络深层使用3D卷积核，以建模时间序列关系。

3.根据权利要求1所述的从全局到类别特征表达学习的动作识别方法，其特征在于，所述类别结构关系获取步骤中，类别特征通道稀疏度为数值在0到1之间的向量，以刻画输入深度神经网络的动作数据在不同通道上的响应强度；统计每个类别下所有样本的平均类别特征通道稀疏度，通过类别间通道稀疏度的关系来获取类别间的相似度结构关系。

4.根据权利要求3所述的从全局到类别特征表达学习的动作识别方法，其特征在于，所述类别结构关系获取步骤中，将全局特征表达定义为一个4维度的张量，所述4维度分别为C通道轴，T时间轴，H特征图高，W特征图宽；

对于每一个特征通道k，用下式计算对应通道的特征稀疏度：

Ξ^k＝1-Q^k

其中Ξ^k为对应通道k的通道相似度，Q^k为通道k所对应的特征图上非零特征的响应比例；将所有通道的特征稀疏度组合起来，得到一个特征稀疏度向量Ξ，以表达样本在不同通道下的响应程度；统计每个类别下所有样本稀疏度向量的均值，得到对应类别的平均通道稀疏度Ξ_c，下标c表示对应的类别；

使用距离度量函数来度量不同类别的通道稀疏度距离，得到两种类别的通道稀疏度，所用公式如下：

s_i,j＝1-dist(Ξ_i,Ξ_j)

其中s_i,j为类别i和j的通道相似度，dist(,)为归一化的距离度量函数，距离最近为0，最远为1；利用每类动作两两之间的通道相似度s_i,j得到通道稀疏度相似矩阵S＝[s_i,j],i,j＝1,2,…,M，其中M为动作类别数；

通过通道稀疏度相似矩阵S指导类别特征掩膜获取步骤以及类别正则约束步骤。

5.根据权利要求1所述的从全局到类别特征表达学习的动作识别方法，其特征在于，所述类别特征掩膜获取步骤中，在训练时，使用动作类别标签信息作为监督信息来训练全卷积神经网络，得到类别特征掩膜，特征掩膜是输入动作视频的动作类别在时空特征上所关注的区域；在测试时，对于每一个输入的动作数据使用学习到的特征掩膜，来筛选类别特定特征。