[发明专利]基于深度神经网络和图卷积网络的视频行人识别方法

权利要求书

1.基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，包括如下步骤：

步骤一、输入行人图像序列；

步骤二、选择ResNet-50作为骨干模型，提取帧级空间特征；

步骤三、识别是否为运动姿态属性或ID属性，若是运动姿态属性，则进行步骤四；若是ID属性，则进行步骤五；

步骤四、将空间特征向量作为每个属性分类器中的时间注意模块的输入，并生成时间注意向量，然后，将时间注意力向量加权每个帧的空间特征，并且将生成用于识别特定属性的图像序列的最终特征向量，最后，将最终特征向量馈入全连接层以实现属性分类结果。

步骤五、将空间特征向量作为每个属性分类器中的时间注意模块的输入，并生成大小为n×1的时间注意向量，然后，将时间注意力向量加权每个帧的空间特征，并且将生成用于识别特定属性的图像序列的最终特征向量，最后，将图卷积网络引入到属性分类器中，以执行半监督分类。

2.如权利要求1所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，所述步骤二中，还包括：

使用空间特征提取器，每个帧由大小为2048×4×7的张量表示，空间特征向量通过两个通道中的卷积和合并单元分别处理，采用全局最大池化来获得图像级特征；

通过属性分类器处理合并空间特征向量。

3.如权利要求1所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于：所述步骤五中，将图卷积网络引入到属性分类器中，以执行半监督分类，包括：

将每个图卷积网络节点的最终输出设计为属性识别任务中相应标签的分类器；

基于图卷积网络的分类器学习，通过基于图卷积网络的映射函数从标签表示中学习相互依赖的对象分类器；

通过将学习到的分类器应用于图像表示，得到预测分数。

4.如权利要求3所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，所述图卷积网络通过基于相关矩阵在节点之间传播信息来工作，通过数据驱动的方式构建此相关矩阵，通过在数据集中挖掘标签的共现模式来定义标签之间的相关性，以条件概率的形式对标签相关性依赖性进行建模。

5.如权利要求4所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于：所述相关矩阵为非对称结构。

6.如权利要求5所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于：所述相关矩阵的构造方法，包括：

对训练集中的标签对的出现进行计数；

通过使用这个标签共现矩阵，得到条件概率矩阵

P_i＝M_i/N_i

其中，M_ij表示L_i和L_j的一起出现的次数，N_i表示训练集中L_i的出现次数，P_ij＝P(L_i|L_j)表示出现标签L_i时出现标签L_j的概率；

对相关性P进行二值化。

7.如权利要求6所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，对相关性P进行二值化，包括：

使用阈值τ过滤噪声边缘，重新加权，即

其中，A′是重新加权的二进制相关矩阵，而p确定分配给节点本身和其他相关节点的权重。

8.如权利要求7所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于：在图卷积网络之后，节点的特征为其自身特征与相邻节点的特征的加权总和。