[发明专利]多视角相机下的复杂动态场景人体三维重建方法及装置

说明书

本发明公开了一种多视角相机下的复杂动态场景人体三维重建方法及装置，其中，方法包括：对目标人体对象进行多视点拍摄，以获得在同一时刻下的多视点二维图像；通过深度网络学习后的模型对视频序列中的人体各部分进行预测，以获取人体的人体骨架信息；根据骨架信息并通过虚拟的三维人体模型去匹配图像中人物的动作和大致轮廓，以获得人体的人体轮廓信息；利用标定后的各视点相机内外参信息，并结合人体骨架信息和人体轮廓信息，采用Visual Hull方法进行人体三维建模。该方法可以结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，有效提高重建的准确性和可靠性。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种多视角相机下的复杂动态场景人体三维重建方法及装置。

背景技术

在计算机视觉中，三维重建是根据单视图或者多视图的图像重建三维信息的过程，由于单视频的信息不完全，因此三维重建需要利用先验知识，而多视图的三维重建能够利用更多的视点的二维图像的信息，重建出三维模型。然而，目前大多的三维重建算法，对二维信息的利用不够精确和全面，计算过程过度依赖外部设备提供的信息，如深度相机提供的深度信息等，或依赖于对目标和背景的分割结果等，造成重建出的结果仍比较粗糙。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种多视角相机下的复杂动态场景人体三维重建方法，该方法可以实现准确的人物对象分割，有效提高重建的准确性和可靠性。

本发明的另一个目的在于提出一种多视角相机下的复杂动态场景人体三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种多视角相机下的复杂动态场景人体三维重建方法，包括以下步骤：对目标人体对象进行多视点拍摄，以获得在同一时刻下的多视点二维图像；通过深度网络学习后的模型对视频序列中的人体各部分进行预测，以获取人体的人体骨架信息；根据所述骨架信息并通过虚拟的三维人体模型去匹配图像中人物的动作和大致轮廓，以获得人体的人体轮廓信息；利用标定后的各视点相机内外参信息，并结合所述人体骨架信息和所述人体轮廓信息，采用Visual Hull方法进行人体三维建模。

本发明实施例的多视角相机下的复杂动态场景人体三维重建方法，能够利用多个视点提供的二维信息，利用深度学习的方法估计人体的大致位置，然后用虚拟的三维人体模型和图割的方法联合解决目标场景中的人体对象由于复杂背景造成难以分割的问题，结合相机标定等过程对视频序列中的人体对象进行三维重建，从而实现准确的人物对象分割，有效提高重建的准确性和可靠性。

另外，根据本发明上述实施例的多视角相机下的复杂动态场景人体三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对目标人体对象进行多视点拍摄，以获得在同一时刻下的多视点二维图像，进一步包括：将多个角度的摄像头架设在人体对象周围，并对准在人体对象运动范围之内，并保证所述多个角度的摄像头一致。

进一步地，在本发明的一个实施例中，所述获取人体的人体骨架信息，进一步包括：利用深度卷积神经网络对人体的关节点进行预测，并联合多个角度求出在三维空间中的所述人体骨架信息。

进一步地，在本发明的一个实施例中，所述获得人体的人体轮廓信息，进一步包括：对单角度图片进行背景减操作，以获得人物的位置，并通过图割方法确定的关节点作为模板的前景点，人物背景减后获得的区域为待分割区域，其他区域作为模板的背景点进行分割，从而获得分割结果；将smpl作为人物模型，检测出的所述关节点为输入，解一个全局最小的优化问题，使得初始的三维人体模型匹配到人物动作上，以将匹配后的人物模型轮廓作为前面分割的补充，得到所述人体轮廓信息。