[发明专利]基于多视点视频的复杂动态人体对象三维重建方法及系统

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多视点视频的复杂动态人体对象三维重建方法及系统。

背景技术

相关技术中，三维重建是根据单视图或者多视图的图像重建三维信息的过程，由于单视频的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建能够利用更多的多视点视频的二维图像的信息，重建出三维模型。然而，目前大多的三维重建算法，对二维信息的利用不够精确和全面，计算过程过度依赖外部设备提供的信息，如深度相机提供的深度信息等，或依赖于对目标和背景的分割结果等，造成重建出的结果仍比较粗糙。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多视点视频的复杂动态人体对象三维重建方法，该方法可以实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。

本发明的另一个目的在于提出一种基于多视点视频的复杂动态人体对象三维重建系统。

为达到上述目的，本发明一方面实施例提出了一种基于多视点视频的复杂动态人体对象三维重建方法，包括以下步骤：对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像；利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息；利用标定后的每个视点的相机内参和外参信息，结合分割后的所述目标人体对象的轮廓信息和所述人体对象的骨架信息，进行人体的三维建模。

本发明实施例的基于多视点视频的复杂动态人体对象三维重建方法，可以利用多个视点提供的二维信息，利用深度学习的方法解决目标人体对象与复杂背景的分割问题，结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，同时达到对人体的定位，有效提高重建的准确性和可靠性。

另外，根据本发明上述实施例的基于多视点视频的复杂动态人体对象三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对目标人体对象进行多视点拍摄，获得在同一时刻下的多视点二维图像，包括：将多个视角的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，保证摄像头一致，以获得在同一时刻下的多视点二维图像。

进一步地，在本发明的一个实施例中，所述利用深度网络学习后的深度神经网络模型分别对每个视点的二维图像序列中的人体各部分进行预测，分割出目标人体对象的轮廓信息和人体对象的骨架信息，包括：利用深度卷积神经网络DPM(Deep Pose Machines，深度卷积神经网络)对人体的各部分关节点进行预测；利用深度卷积神经网络LIP(Look into Person，深度卷积神经网络)对人体的各身体部分进行预测，获得人物轮廓信息。

进一步地，在本发明的一个实施例中，在所述利用深度卷积神经网络LIP对人体的各身体部分进行预测时，利用自己网络预测的关节点响应图同真实响应图计算损失loss，其中，

L_Structure＝L_Joint·L_Parsing，

其中，L_Structure是结构损失，是整个网络的损失，是网络预测值，是真实标签值，L_Parsing是softmaxloss，L_Joint是关节点预测值与真实值之间的损失。

进一步地，在本发明的一个实施例中，所述利用标定后的每个视点的相机内参和外参信息，结合分割后的目标人体对象的轮廓信息和人体对象的骨架信息，进行人体的三维建模，包括：对每个视角拍摄的相机进行标定，获得每个相机的内参和外参信息；利用目标人体对象的轮廓信息，遍历空间模型中的每个点，确定是否属于人体对象；如果空间的点投影到多个二维平面视图中都在人体对象轮廓内，则认为相应的点属于三维人体对象，直到遍历空间中的每个点，获得最终的人体的三维建模。