[发明专利]三维人体模型重建方法及存储设备、控制设备

权利要求书

1.一种三维人体模型重建方法，其特征在于，所述方法包括：

根据人体图像，采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图；

所述全卷积网络模块包括：第一全卷积网络、第二全卷积网络、第三全卷积网络和第四全卷积网络；

相应地，根据人体图像，采用预训练的全卷积网络模块获取人体部件的全局UVI图和局部UVI图包括以下步骤：

根据所述人体图像，利用所述第一全卷积网络提取全局特征图；

根据所述全局特征图，利用所述第二全卷积网络预测出对应的全局UVI图；

根据所述全局特征图，利用所述第三全卷积网络生成人体各关节点的位置热力图，进而得到各关节点的位置；

根据所述各关节点的位置，计算各关节点对应的仿射变换参数；

具体为：根据下式计算各关节点对应的仿射变换参数：

s_k＝αmax(|j_p(k)-j_k|2，|j_p(k)-j_c(k)|₂)

c_k＝j_k

其中，第k个关节点的仿射变换参数包括：尺度参数s_k、旋转参数r_k及平移参数c_k；α表示预设的常量，e_⊥表示垂直向下的单位向量，j_k表示第k个关节点的位置坐标，p(k)函数用于返回第k个关节点的父关节点索引，c(k)函数用于返回第k个关节点的子关节点索引；

根据所述各关节点的仿射变换参数，对所述全局特征图进行仿射变换得到各关节点的局部特征图；

根据所述局部特征图，利用所述第四全卷积网络预测出对应的局部UVI图；在训练时，神经网络从所述位置特征及改良的位置特征中回归人体模型各关节点的位置坐标，从所述旋转特征及所述改良的旋转特征中回归人体模型各关节点的姿态参数；

所述人体模型是一个参数化的形变模型，其参数包括形状参数和姿态参数；

其中，形状参数表述的是人体模型的形状信息，姿态参数表述的是人体模型各关节点相对其父关节点的旋转量；可根据相机参数、所述人体模型的形状参数和所述人体模型的姿态参数重建三维人体模型；

所述全局UVI图和局部UVI图包括：U坐标图、V坐标图和I索引图；

其中，U坐标和V坐标分别表示三维人体模型在U、V纹理空间的坐标，I索引表示人体各部件的索引；

基于所述全局UVI图，利用第一神经网络估计相机参数及人体模型的形状参数；

基于所述局部UVI图，利用第二神经网络提取人体各关节点的旋转特征；所述第二神经网络包括所述预设数量的支路网络，分别对应所述预设数量的关节点，每个所述支路网络用于提取对应关节点的旋转特征；

基于所述人体各关节点的旋转特征，利用基于位置辅助的特征改良策略对旋转特征进行改良，得到改良的旋转特征；

具体包括：

利用第一图卷积网络沿着人体运动链收集所述人体各关节点的旋转特征，并将所述人体各关节点的旋转特征转换到位置特征空间，得到位置特征；第一图卷积网络的表达式为：

其中，Z_in和Z_out分别是输入和输出特征，是图的归一化邻接矩阵，W¹是可学习的卷积核权重，σ(·)表示激活函数；

所述第一图卷积网络其邻接矩阵A¹的构造方式为：

若第j个关节点属于第i个关节点的祖先节点之一，则否则，其中，表示所述邻接矩阵A¹中位于第i行第j列的元素

根据不同关节点间的空间结构信息，利用第二图卷积网络对所述位置特征进行精调，得到改良的位置特征；

第二图卷积网络的表达式为：

所述第二图卷积网络其邻接矩阵A²的构造方式为：

若第i个关节点和第j个关节点相连接或i＝j，则否则其中，表示所述邻接矩阵A²中位于第i行第j列的元素

利用第三图卷积网络收集所述改良的位置特征，并将所述改良的位置特征转换到旋转特征空间，得到改良的旋转特征；

根据所述改良的旋转特征，利用第三神经网络估计人体模型的姿态参数；

第三图卷积网络的表达式为：

所述第三图卷积网络的邻接矩阵A³的构造方式为：

若第j个关节点属于第i个关节点的父关节点或子关节点或i＝j，则否则，其中，表示所述邻接矩阵A³中位于第i行第j列的元素。