[发明专利]一种基于任意角度人体图像的正面姿态估计方法

权利要求书

1.一种基于任意角度人体图像的正面姿态估计方法，其特征在于：

对于收集到的多角度人体图像数据集，需要进行数据预处理以方便神经网络学习；首先对输入的人体图像进行随机的裁剪和旋转进行数据增强，再将经过随机裁剪和旋转的图像缩放到网络输入大小，然后进行图像的标准化，即减去均值除以标准差，最后对输入的人体图像的正面姿态进行标准化和平移操作，即减去其均值除以标准差，然后提取左肩和右肩的中点作为人的中心，并将人的中心作为坐标原点，将姿态平移到坐标原点；

输入不仅包含人体图像数据而且加入了输入人体图像的三维姿态数据，神经网络的回归过程是基于anchor pose回归的坐标，anchor pose是对数据集的正面姿态进行聚类得到的，输入人体图像的三维姿态数据的提取采用三维姿态估计算法，对提取到的三维姿态数据需要进行标准化和平移的操作；

输入图像通过两个分支提取特征，上面的分支采用主流的三维姿态估计算法提取三维姿态数据，下面的分支采用卷积层提取特征；对上面分支提取到的三维姿态数据经过两个全连接层，对下面分支提取到的卷积层特征经过两个全连接层，再将上下分支的全连接层的输出特征进行融合，其中特征融合采用拼接的方法；

将融合后的特征经过一个全连接层后产生分支，上面是分类分支，下面是回归分支，分类分支为经过两个全连接层输出属于各个anchor pose的概率，回归分支为经过两个全连接层输出相对与anchor pose的坐标；

算法采用的损失函数：假设批次的大小为n，真实姿态为{g₁,g₂,…,g_n}，对应的anchorpose标签为{l₁,l₂,…,l_n}，anchor pose为{a₁,a₂,…,a_m}，回归分支的输出为{y₁,y₂,…,y_n}，分类分支的输出为其中g_i、y_i和a_i的大小都为R^17×2，m为anchor pose的数量，l_i为1到m之间的一个整数，为0到1之间的一个概率值；回归量采用真实姿态与其对应anchor pose的差值回归分支的损失采用均方误差损失L_regress，分类损失采用交叉熵损失L_CE，即：

其中，y_i为一批数据中第i个数据的回归分支的输出值，g′_i为一批数据中第i个数据的回归量，l_i为一批数据中第i个数据的anchor pose的标签值，为一批数据中第i个数据的分类分支输出其属于第j个anchor pose的概率值；

需要进行L_regress和L_CE的平衡，得到最终的损失函数L，最终的损失函数形式是通过极大似然估计得到的，其中回归分支的似然函数是服从均值为回归分支输出方差为θ_loc的高斯分布，分类分支的似然函数是服从方差为θ_cls的吉布斯分布；即：

其中，θ_loc和θ_cls是可学习的参数，和神经网络权重一起通过随机梯度下降进行优化；

算法的推断过程不使用分类分支的输出只使用回归分支的输出，最终的输出为其中y_i为回归分支的输出，为输入的目标人体图像对应的anchor pose，x_i为最终的输出；

卷积层的输入为128*128*3的图像，卷积层的选择采用AlexNet、VGG、GoogleNet或ResNet；anchor pose是对正面姿态进行聚类分析得到的；具体操作为提取每个姿态中人体关键点到人体中心的距离作为特征，人体中心为左肩和右肩的中点，再对这些特征进行聚类，聚类得到的簇中心即为anchor pose；对anchor pose进行标准化和平移操作；

通过对输入目标人体的二维图像以端到端的方式直接预测三维人体姿态数据，预测的三维人体姿态数据为21个人体关键点的坐标数据；对三维人体姿态数据同样需要进行标准化和平移操作。