[发明专利]三维人体模型重建方法及存储设备、控制设备

说明书

本发明涉及人体模型重建技术领域，具体涉及一种三维人体模型重建方法及存储设备、控制设备，旨在解决三维模型重建结果与二维图像不对齐等问题。本发明的重建方法包括：根据人体图像，采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图；基于全局UVI图，利用第一神经网络估计相机参数及人体模型的形状参数；基于局部UVI图，利用第二神经网络提取人体各关节点的旋转特征；基于人体各关节点的旋转特征，利用基于位置辅助的特征改良策略对旋转特征进行改良，得到改良的旋转特征；根据改良的旋转特征，利用第三神经网络估计人体模型的姿态参数。本发明能够能更为准确、高效地进行人体模型重建，并提高了姿态估计的鲁棒性。

技术领域

本发明涉及人体模型重建技术领域，具体涉及一种三维人体模型重建方法及存储设备、控制设备。

背景技术

三维人体模型重建是三维计算机视觉的重要任务之一，其旨在快速、准确地从人体图像中重建出三维人体参数化模型，其中包括模型的形状参数及姿态参数。

在现有的三维人体模型重建技术中，传统的基于模型拟合方法通常将三维人体模型迭代形变，使得模型重投影后与二维图像信息如关节点位置或人体轮廓相匹配，这些方法通常较为耗时且对模型参数的初始值敏感。而新兴的基于学习的方法，利用神经网络直接从图像中提取特征并估计模型参数，这些方法一定程度上提高了模型的形状及姿态估计的精度，但仍然存在三维模型重建结果与二维图像不对齐等问题。其原因主要有两点：(1)图像和模型参数之间存在高度非线性的映射关系；(2)三维人体模型的姿态通常以关节点的相对旋转量表示，从而导致模型重建结果重投影在二维图像上容易存在位置偏差。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种三维人体模型重建方法及存储设备、控制设备，提高了模型重建的准确性和效率。

本发明的一方面，提出一种三维人体模型重建方法，所述方法包括：

根据人体图像，采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图；

基于所述全局UVI图，利用第一神经网络估计相机参数及人体模型的形状参数；

基于所述局部UVI图，利用第二神经网络提取人体各关节点的旋转特征；

基于所述人体各关节点的旋转特征，利用基于位置辅助的特征改良策略对旋转特征进行改良，得到改良的旋转特征；

根据所述改良的旋转特征，利用第三神经网络估计人体模型的姿态参数。

优选地，所述UVI图包括：U坐标图、V坐标图和I索引图；

其中，U坐标和V坐标分别表示三维人体模型在U、V纹理空间的坐标，I索引表示人体各部件的索引。

优选地，所述全卷积网络模块包括：第一全卷积网络、第二全卷积网络、第三全卷积网络和第四全卷积网络；

相应地，“根据人体图像，采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图”包括以下步骤：

根据所述人体图像，利用所述第一全卷积网络提取全局特征图；

根据所述全局特征图，利用所述第二全卷积网络预测出对应的全局UVI图；

根据所述全局特征图，利用所述第三全卷积网络生成人体各关节点的位置热力图，进而得到各关节点的位置；

根据所述各关节点的位置，计算各关节点对应的仿射变换参数；

根据所述各关节点的仿射变换参数，对所述全局特征图进行仿射变换得到各关节点的局部特征图；

根据所述局部特征图，利用所述第四全卷积网络预测出对应的局部UVI图。