[发明专利]基于多视点视频的复杂动态人体对象三维重建方法及系统

权利要求书

1.一种基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，包括以下步骤：

对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；

利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；

利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。

2.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像，包括：

将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。

3.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息，包括：

利用深度卷积神经网络DPM对人体的各部分关节点进行预测；

利用深度卷积神经网络LIP对人体的各身体部分进行预测，获得人物轮廓信息。

4.根据权利要求3所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，

LJoint=12NΣi=1N||cip-cigt||22,]]>

L_structure＝L_Joint·L_Parsing，

其中，L_Structure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，L_Parsing是softmaxloss，L_Joint是关节点预测值与真实值之间的损失。

5.根据权利要求1所述的基于多视点视频的复杂动态人体对象三维重建方法，其特征在于，所述利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模，包括：

对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息；

利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象；

如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。

6.一种基于多视点视频的复杂动态人体对象三维重建系统，其特征在于，包括：

拍摄模块，用于对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；

信息获取模块，用于利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；

三维重建模块，用于利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。