[发明专利]复杂场景下行人细粒度属性的检测与识别方法

权利要求书

1.一种复杂场景下行人细粒度属性的识别方法，采用分类模型对检测出的行人的子部件进行细粒度属性识别；通过将识别出的属性分别与行人性别进行关联分析，选取属性进行多任务学习；再训练多任务学习构建的卷积神经网络模型，并针对多个属性选出识别正确率最高的卷积神经网络模型结果，作为最终结果；最后根据决策函数来判断行人的性别属性；包括如下步骤：

第一步：定义复杂场景中行人的子部件，将行人子部件表示为X_i＝{x_i1,x_i2,…x_ij,…x_im}，其中，X_i表示行人i，x_ij表示行人i的第j个子部件，i∈(1,M),j∈(1,m)，M是检测到行人的数量，m表示行人子部件的个数，行人子部件包括行人的头、上肢和下肢；将行人外在附属物定义为子部件属性，用Y_ij＝{y_ij1,y_ij2,…y_ijk,…y_ijn}表示，其中，Y_ij表示行人i的第j个子部件，y_ijk表示行人子部件j的第k个属性，其中,i∈(1,M)j∈(1,m)，k∈(1,n)，n是行人子部件属性的个数；

第二步：对复杂场景中行人进行两次检测；

利用目标检测方法模型对行人子部件进行两次检测，其中，第一次检测对行人进行粗粒度检测，得出行人整体；第二次检测对行人子部件进行细粒度检测，检测得出行人的多个子部件Y_ij；包括如下步骤：

21)选取模型训练的样本和测试样本；设迭代总次数为T，从1到T每次迭代训练依次完成步骤22)-28)：

22)对输入到卷积神经网络模型的训练样本进行特征提取；

23)采用聚类方法，通过对数据集中人的标注框聚类，得到人的标注框聚类个数k；然后以k作为候选框的个数，以k个聚类中心框的维度为候选框的维度；

24)利用候选框预测回归边框和类别；预测出一幅图中待检测行人目标的类别的个数；

25)预测每个回归边框的坐标，并且预测每个回归边框中含有行人目标的置信度；

26)对卷积神经网络模型采用3×3和1×1交替三次的卷积层进行检测分类；

27)采用非极大值抑制，输出最终结果；

28)根据前向传播计算过程得到损失函数值，根据损失函数值进行反向传播更新各层权重；

29)执行步骤22)-28)的迭代操作，首先检测出行人整体，然后检测出行人子部件Y_ij；

第三步，对检测出来的行人子部件进行细粒度属性识别，得到子部件的属性；

具体采用模二加的方法，对第二步识别出来的行人子部件Y_ij进行细粒度属性识别，得到细粒度属性y_ijk，即子部件的属性；

第四步，利用分类器融合与判别决策算法，识别得到行人的性别；

首先将第三步识别出的子部件的属性与行人的性别进行关联分析，分别求出每个子部件的每个属性y_ijk与性别M_iu之间的相关系数，得到相关系数矩阵R_k，其中u∈(0,1)，k∈(1,n)；

然后根据置信度从高到低排序，按相关系数从大到小的顺序选出L个属性，构建基于多属性的多任务学习的CNN模型；

将模型的结果进行融合，采用投票法及决策函数对待识别目标进行最终判决，从而得到行人的性别，即为识别结果；

所述分类器融合与判别决策算法具体包括如下步骤：

41)将第二步选取得到的行人子部件训练样本数据和测试样本数据输入到卷积神经网络模型，进行迭代训练；设迭代总次数为K，每次迭代训练依次执行步骤42)-46)：

42)采用模二加的方法，对第二步识别出来的行人子部件Y_ij进行细粒度属性识别，得到细粒度属性y_ijk；

43)定义M_iu表示行人的性别，通过式1求出y_ijk与性别M_iu之间的相关系数矩阵R_k，并按照置信度从高到低排序选出L个属性作为多任务学习的子任务p_ijl，其中相关系数最大的属性作为主要任务，记为p_ij1，其余的作为次要任务；

其中，R_k为相关系数矩阵，y_ijk是第i个行人的第j个部件中的第k个属性，M_iu是第i个行人的性别u，i∈(1,M),j∈(1,m)，u∈(0,1)；

44)求出每个次要任务与主要任务之间的相关系数r_l，再对每个任务赋予权值w_q；具体执行如下操作：

首先，利用式2分别求出每个次要任务与主要任务之间的相关系数r_l，其中l∈(1,L)；

式2中，r_l是次要任务l与主要任务之间的相关系数,p_ij1是相关系数最大的主要任务；

然后，按照与主要任务相关性越大的次要任务越多参与主要任务的决策，与主要任务相关性越小的次要任务越少参与主要任务的决策，将次要任务与主要任务之间的相关系数按照置信度从高到底排序，通过式3对每个任务赋予权值w_q：

其中，h_q表示按照每个次要任务与主要任务之间相关性的等级取相应的值，q∈(1,L)；

45)通过式4将每个任务分别与性别通过模二加进行编码，得到每个任务与性别之间的函数关系：

其中，i＝1,2,3,…,M；q＝1,2,…,L；attribute_i1表示性别属性；attribute_iq表示多任务的属性；

通过式5对分类器的融合结果采用Arrogance投票法得到各自的最佳识别结果：

其中，Z表示分类器的个数，Q表示属性类别个数，C表示分类矩阵；

46)再通过决策函数式6计算得到目标的最终判别结果：

其中，i＝1,2,……,M，C_i代表了每个行人性别的最终判断结果，w_q表示每个任务的权重；

通过K次迭代，将步骤45)中的投票法式5及式4进行融合，得到每个行人性别的最终判别结果C_i，由此识别出行人的性别。