[发明专利]一种基于几何驱动的自监督人体3D姿态估计网络训练方法

权利要求书

1.一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，包括以下步骤：

步骤1：采集人体姿态训练数据，构造训练数据集；

步骤2：对训练数据集中的人体2D关节点进行检测；

步骤3：设计一个人体3D姿态估计网络，将人体2D关节点位置投射到3D空间中，估计人体的相对3D姿态；

步骤3.1：设计一个3D姿态估计网络该网络包含四个残差模块，每个模块均由2个全连接层及其对应的批归一化层、整流线性单位层和池化层组成；最后，3D姿态估计网络连接了一个N×3通道的全连接层输出N个关节点的3D位置坐标；

步骤3.2：将步骤2中得到的人体2D关节点位置X₁,X₂输入到3D姿态估计网络中，得到网络输出为分别为Y₁,Y₂两张图片中人体N个关节点位置所对应的3D坐标；此处，网络输出的3D坐标，是以根关节点为坐标原点的相对位置坐标；

步骤4：设立一个根节点位置估计网络，估计出根关节点在对应相机坐标下的3D位置坐标，来还原人体关节点的3D绝对位置坐标；

步骤4.1：设计一个根节点位置估计网络该网络包含四个残差模块，每个模块均由2个全连接层及其对应的批归一化层、整流线性单位层和池化层组成；最后，网络连接了一个N通道的全连接层输出根关节点在对应相机坐标下的3D位置坐标；

步骤4.2：将步骤2中得到的人体2D关节点位置，输入到根节点位置估计网络中，得到网络输出为表示根关节点在两张图片对应视角v1,v2的相机坐标下的3D位置坐标；

步骤4.3：将r^v1和r^v2分别加到Y₁,Y₂上，还原出对应的人体3D关节点的绝对位置坐标和

步骤5：根据透视投影，将步骤4得到的人体3D关节点的绝对位置重投影到2D空间；

步骤6：进行相机坐标转换；

步骤7：计算重投影损失函数、变换重投影损失函数和预训练损失；

步骤7.1：计算重投影损失函数

计算步骤2检测得的人体2D关节点位置和步骤5重投影得到的人体2D关节点位置二者之间的平方损失，如下所示：

步骤7.2：计算变换重投影损失函数

计算步骤2检测得的人体2D关节点位置和步骤6变换后的人体3D关节点位置投影的到的2D位置之间的平方损失，如下所示：

步骤7.3：计算预训练损失

计算步骤4得到的人体3D关节点绝对位置和步骤6变换后的人体3D关节点位置之间的平方损失，如下所示：

步骤8：进行网络训练；

步骤9：使用训练好的3D姿态估计网络，对未知图片中的人体3D姿态进行估计。

2.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤1构造训练数据集时，利用多个相机进行标定，记录相机的内参和外参，其中，对于场景中的同一个人，收集多个视角下相机拍摄的照片，构造训练数据集。

3.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤2实现方法如下：

在检测人体2D关节点时，在步骤1构造的训练数据集中，从同一时刻多个视角拍摄的图片中，任意选取两张，使用层级金字塔网络，对两张图片中的人体2D关节点位置进行检测，定义分别为步骤2得到的两张图片中人体的N个关节点位置的2D坐标。

4.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤5的实现方法为：

按照如下公式计算：

其中，ρ表示透视投影，f_x和f_y为相机焦距，c_x和c_y定义了主要点，分别表示的第i^th个关节点位置的x,y,z坐标值。