[发明专利]基于多模态自编码模型的单视角视频人体姿态恢复方法

说明书

技术领域

本发明涉及计算机视觉领域，尤其涉及单视角视频中人体三维姿态的恢复方法。

背景技术

人体姿态恢复的目的是将单视角视频中人体的三维骨架精准的提取出来。利用普通单视角视频进行人体三维运动恢复在运动捕获、三维动画、智能视频监控以及人机交互等方面有广泛的应用。通常可形式化地用表示姿态矢量空间，用表示图像特征空间，要求对任意给定x∈X计算其对应的y∈Y。但这是很困难的，因为从X到Y的映射非常复杂且不是一对一的。常见的恢复从X到Y的映射的方法可分为两类：生成式模型方法和样例学习方法。虽然从X到Y的映射很复杂，但其反向映射Y→X具有完整的定义，即给定一个姿态，总能很好的找到对应的图像。因此，生成式模型方法将姿态恢复表达为优化问题argmin_yl(f(y)-x)。其中l是空间X的距离函数，即寻找一个最佳姿态，该姿态下渲染出的图像和视频图像最匹配。Deutscher等采用粒子滤波框架进行快速优化，Chen等采用马尔科夫网络和梯度算法进行基于概率的姿态估计，Zhao等采用PCA对解空间进行降维，并提出分层的模拟退火遗传算法进行优化搜索。生成式模型方法难以解决数值优化的计算复杂度高，以及局部最小值问题。

样例学习方法则假定已知一些对应的图像和姿态样本，以此训练一个从X到Y的映射m。该映射可以是函数拟合，如神经网络、相关向量机、径向基函数、贝叶斯混合专家模型进行拟合，也可以是关系数据库查找表。总的来说，样例学习方法主要由三个步骤组成：1)在图像上提取视觉特征；2)利用机器学习算法建立图像特征与三维姿态之间的映射挂系；3)依据已建立的映射关系，从图像中恢复三维姿态。当前的样例学习方法主要存在以下两个问题：难以有效建立二维图像到三维姿态之间的映射关系，难以有效描述图像与三维姿态的视觉特征。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于多层感知器模型的三维姿态重建方法。本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1、在提取视觉特征的过程中，针对图像的形状、颜色、边界等多种视觉特征，采用基于超图学习的多模态低秩矩阵表示获得的图像的统一视觉特征；

步骤2、在内在特征提取过程中，通过训练自编码模型分别获得图像与三维姿态的内在特征；

步骤3、基于步骤2获得图像与三维姿态的内在特征，采用无监督流形对齐技术，将图像与三维姿态的内在特征投影到一个共享的低维空间中，获得低维特征；

步骤4、在训练多层感知器网络的过程中，基于步骤3已获得的图像与三维姿态的低维特征，再训练一个神经网络模型用于学习图像与三维姿态之间的映射关系；

步骤5、在训练多层感知器网络的过程中，利用步骤2中的自编码模型，步骤3中的无监督流形对齐模型以及步骤4中的神经网络模型，构建五层的全新感知器网络，以图像块作为输入，三维人体姿态作为输出，微调五层全新感知器网络的参数；

步骤6、将步骤5得到的五层全新感知器网络做图像三维姿态重建，以图像的多种视觉特征作为输入，得到的输出即为对应三维姿态。

步骤1所述的通过基于超图学习的多模态低秩矩阵表示获得的图像的多种视觉特征，具体如下：

1-1.提取训练图像的多种模态特征X⁽¹⁾,X⁽²⁾,…,X^(m)，其中m表示特征的类型和数量。

1-2.给定一个矩阵特征向量X^(j)，在该特征下的样本近邻矩阵通过求解以下目标函数获得：

(公式1)

s.t.X^(j)＝X^(j)Q₀+E₀

其中，||·||_*表示核函数，||·||_2,1是指L21范数，参数λ>0则用于平衡两部分的影响，X^(j)表示X的第j种特征。最优化得到的Q₀自然的形成一个近邻矩阵。

1-3.针对多种模态特征，采用多任务低秩近邻矩阵求解，其目标函数是：

(公式2)

s.t.X^(j)＝X^(j)Q^(j)+E^(j),j＝1,…,m

其中α>0是给定的参数，Q是将多特征下的矩阵Q¹,Q²,…,Q^m连接起来获得