[发明专利]一种基于骨架姿态的人物识别方法

权利要求书

1.一种基于骨架姿态的人物识别方法，其特征在于，分为三个阶段：离线训练阶段，离线构造注册集阶段和在线识别阶段；

(一)离线训练阶段，首先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后转化为36维向量作为模型输入，然后对模型进行训练；模型的网络结构包括生成模块和判别模块；

所述生成模块包括姿态编码器Es、动作编码器Ea、生成器G和判别器D四个子模块,每个子模块都各自由输入层、隐藏层和输出层组成；其中，姿态编码器Es和动作编码器Ea的输入层分别输入36维的骨架数据，输出层分别输出16维的姿态特征和196维的动作特征；生成器G的输入层的输入为一个212维向量，其第0到第15维为姿态特征，第16到第211维为动作特征，输出层输出36维的合成骨架；判别器D的输入层输入合成骨架，输出层输出36维的判别结果；

所述判别模块，其与生成模块共用姿态编码器Es，给定输入骨架，将Es输出的16维姿态特征作为该骨架的表示特征，在在线识别阶段中作为骨架数据所属人物的标识符id检索的依据；判别模块在Es输出层后加入一个长度为N的全连接层得到id概率分布向量，其中N为训练集中id类别的个数；id概率分布向量中最大分量的维数即为人物骨架的id；

(二)离线构造注册集阶段，首先将用于构造注册集的骨架输入训练好的模型，得到骨架姿态特征，再将特征归一化得到注册集特征；

(三)在线识别阶段，首先将待识别骨架输入训练好的模型，得到待识别的骨架姿态特征，并对特征进行归一化，然后计算待识别的骨架姿态特征和各注册集特征之间的相似度，最后取相似度最大的注册集特征的人物id作为检索结果；其中：

步骤(一)中，模型中的生成模块损失函数如下所示：

L_adv(x_p，G(s_p,a_q))＝E[logD(x_p)+log(1-D(G(S_p,a_a))] [式7]

判别模块损失函数如下所示：

其中，x_p表示第p个样本中的骨架，s_p和a_p分别表示由骨架x_p提取的姿态特征和动作特征,G(s_p,a_q)表示由骨架x_p的姿态特征s_p和骨架x_q的动作特征a_q合成的骨架，E_s(G(s_p,a_q))和E_a(G(s_p,a_q))分别表示由G(s_p,a_q)提取的姿态和动作特征，D(x_p)表示判别器D对骨架x_p的输出；

在模型训练的每次迭代中，从训练集中随机取出四个骨架x_i,x_j,x_m,x_n，其中x_i与x_j属于不同id，x_i与x_m，x_j与x_n分别属于同一id；首先进行生成模块的训练，更新所有生成模块中的参数，再进行判别模块的训练，更新所有判别模块的参数；其中：

生成模块的训练步骤如下所述：

第一步：分别通过Es与Ea提取x_i的姿态特征s_i与动作特征a_i，分别对x_j,x_m,x_n进行与x_i相同的操作，得到s_j,a_j,s_m,a_m,s_n,a_n；

第二步：将s_i与a_i进行拼接,输入生成器G，得到G(s_i,a_i)，分别对x_j,x_m,x_n进行相同的操作，得到G(s_j,a_j)，G(s_m,a_m),G(s_n,a_n)；根据式2，计算

第三步：将s_m和a_i进行拼接,输入生成器G，得到G(s_m,a_i)，将s_n和a_j进行拼接,输入生成器G，得到G(s_n,a_j)；根据式3，计算和

第四步：由G(s_i,a_j)提取姿态特征E_s(G(s_i,a_j))和动作特征E_a(G(s_i,a_j))，由G(s_j,a_i)提取姿态特征E_s(G(s_j,a_i))和动作特征E_a(G(s_j,a_i))；根据式4,计算根据式5,计算

第五步：将E_s(G(s_i,a_j))和E_a(G(s_j,a_i))输入生成器G,得到G(E_s(G(s_i,a_j)),E_a(G(s_j,a_i)))，将E_s(G(s_j,a_i))和E_a(G(s_i,a_j))输入生成器G，得到G(E_s(G(s_j,a_i)),E_a(G(s_i,a_j)))；根据式6，计算和

第六步：将G(s_i,a_j)和x_i分别输入判别器D，输出D(G(s_i,a_j))和D(x_i)，将G(s_j,a_i)和x_j分别输入判别器D，输出D(G(s_j,a_i))和D(x_j)；根据式7，计算L_adv(x_i,G(s_i,a_j))和L_adv(x_j,G(s_j,a_i))；

判断模块的训练步骤如下所述：

将x_i，x_j，G(s_i,a_j)，G(s_j,a_i)分别输入姿态编码器Es，Es输出姿态特征后通过全连接层得到id概率分布向量；根据式8，计算根据式9，计算