[发明专利]一种基于二叉树结构的多标签行为识别方法及装置

权利要求书

1.一种基于二叉树结构的多标签行为识别方法，其特征在于，包括：

S1，提取训练好的第一多标签行为识别网络中的第一分类器输出的各行为类别的参数向量；其中，所述第一多标签行为识别网络还包括特征提取网络；

S2，基于所述参数向量计算各行为类别之间的相似度并按照相似度从高到低进行排序，将各行为类别依次进行不重复的两两递归组合，以构建二叉树；

S3，基于所述特征提取网络、第二分类器及二叉树，构建第二多标签行为识别网络；所述第二分类器的输出维度与二叉树的节点个数相同；

S4，采用训练后的第二多标签行为识别网络对待测视频进行行为识别。

2.如权利要求1所述的基于二叉树结构的多标签行为识别方法，其特征在于，步骤S2包括：

将所述第一分类器中各行为类别之间的相似度从高到低进行排序，并依次进行不重复的两两递归组合，最终得到一个组合，该组合为二叉树的根节点。

3.如权利要求1或2所述的基于二叉树结构的多标签行为识别方法，其特征在于，所述第一分类器和第二分类器为全连接层、多层感知机或SVM中的任一种。

4.如权利要求1所述的基于二叉树结构的多标签行为识别方法，其特征在于，其特征在于，所述二叉树的层数L与数据集的行为类别数量C满足以下关系式：

5.如权利要求1所述的基于二叉树结构的多标签行为识别方法，其特征在于，所述各行为类别之间的相似度的确定方法为：

计算第一分类器中C个D维特征参数之间的Cosine相似度；

或，对第一分类器中C个D维特征参数进行归一化，再计算C个特征参数之间的相似度。

6.如权利要求1或2所述的基于二叉树结构的多标签行为识别方法，其特征在于，所述特征提取网络为深度学习特征提取网络或基于手工特征算子的提取网络。

7.如权利要求1所述的基于二叉树结构的多标签行为识别方法，其特征在于，仅对所述第二多标签行为识别网络中的第二分类器及二叉树进行训练。

8.一种基于二叉树结构的多标签行为识别装置，其特征在于，包括：

提取模块，用于提取训练好的第一多标签行为识别网络中的第一分类器输出的各行为类别的参数向量；其中，所述第一多标签行为识别网络还包括特征提取网络；

二叉树构建模块，用于将所述第一分类器中各行为类别之间的相似度从高到低进行排序，并依次进行不重复的两两递归组合，以构建二叉树；

识别网络构建模块，用于基于所述特征提取网络、第二分类器及二叉树，构建第二多标签行为识别网络；所述第二分类器的输出维度与二叉树的节点个数相同；

识别模块，用于采用训练后的第二多标签行为识别网络对待测视频进行行为识别。