[发明专利]一种人体三维关键点提取方法

权利要求书

1.一种人体三维关键点提取方法，其特征在于，包括：

S1、采用双视角进行人体动作行为数据采集；

S2、采用双分支多阶段结构分别对两个视角的数据进行人体二维关键点置信图检测；步骤S2所述双分支多阶段结构具体为：上分支用来学习摄像头A中关键点的位置，下分支用来学习摄像头B中关键点的位置，上下分支包括多个阶段，其中阶段1采用3层3×3卷积和两层1×1卷积，其余阶段均采用5层7×7卷积和两层1×1卷积；

还包括采用一层三维CNN来提取原始图像特征，第一阶段的输入为该层三维CNN提取的原始图像特征；后续阶段的输入为该层三维CNN提取的原始图像特征以及前一阶段的置信度图预测结果；这层三维CNN用于提取当前帧与其前后帧的图像特征；该层三维CNN卷积核大小为3×3×3；

S3、建立三维关键点生成模型；步骤S3所述三维关键点生成模型具体包括：三层卷积层与一层全连接层，采用sigmoid函数作为输出单元，使用ReLU函数作为卷积层的激活函数；

S4、将步骤S1采集到的待检测的人体动作行为数据，经步骤S2处理后得到对应的二维关键点置信图，将该二维关键点置信图输入步骤S3建立的三维关键点生成模型，得到三维关键点坐标。

2.根据权利要求1所述的一种人体三维关键点提取方法，其特征在于，步骤S1具体为：采用两个摄像头，记为摄像头A与摄像头B，同时进行人体动作行为数据采集，对采集的视频数据进行同步帧采样。

3.根据权利要求2所述的一种人体三维关键点提取方法，还包括对三维关键点生成模型进行弱监督训练，具体为：优化目标为最小化损失函数，采用梯度下降法进行反向传播权重训练，迭代更新三维关键点生成模型参数。

4.根据权利要求3所述的一种人体三维关键点提取方法，其特征在于，所述损失函数表达式为：

Loss＝L_D+L_TD+f

其中，L_D表示距离误差损失函数，L_TD表示帧间误差损失函数，f表示双分支多阶段结构整体二维置信度损失函数。