[发明专利]三维模型的捕捉及重建方法和系统

说明书

技术领域

本发明涉及计算机视频处理技术领域，特别涉及一种三维模型的捕捉及重建方法和系统。

背景技术

对于动态场景的三维重建问题，很多工作将其看成静态场景重建问题在时间维度上的简单累加，即并不利用时间信息辅助场景重建，每一帧单独进行静态三维建模。但是这种方法复杂度高、存储量大，不能保证帧与帧之间模型的拓扑一致性，容易产生抖动现象。此外采用上述方法进行三维建模无法对非刚体模型的运动情况进行有效分析，也无法通过时域上的插值获得任意时刻的模型。通过对这类问题进行研究，现有技术提出了联合求解3D场景流以及几何模型的重建方法。进一步还提出了使用变分方法统一动态场景几何和运动的重建，然而由于几何重建和运动重建是迭代进行的，即通过某时刻的几何重建作为运动重建的初始值推导下一时刻的模型重建，因此这种方法的时空联合重建效率仍然不高，实际效果也并不尽人意。

因此，为了避免时空联合重建难度大、质量一般的问题，另一类基于视频的动态三维重建方法则以初始帧的静态三维重建结果作为场景表示，然后应用三维运动跟踪算法求解该三维物体的运动，并应用合适的变形算法驱动静态模型运动，从而获得动态三维重建结果。目前，基于视频的三维运动跟踪可以分为两类：带标记的三维运动跟踪和无标记的三维运动跟踪。其中，带标记的三维运动跟踪方法准确，但是需要被捕捉动作者穿上带有标记的紧身服装，从而限制了对形状和纹理的捕捉。而无标记的三维运动跟踪方法则克服了以上的缺陷。一种无标记的三维运动跟踪方法是通过联合运动学模型和衣服模型来捕捉穿着更加一般服装的人体的运动，但是这种方法无法捕捉到运动对象的精确几何结构。另一种无标记的三维运动跟踪方法则可同时捕捉对象骨架和形状的运动，然而由于一些局部表面并没有随时间做出应有的改变，因此该方法仍然无法有效地进行三维运动跟踪。此外，因为该方法仅仅依靠轮廓信息，所以对轮廓误差非常敏感。虽然这种无标记的方法灵活性提高了，但是很难达到与带标记方法相同的精度。此外，大多数三维运动跟踪方法都需要通过提取运动学骨架来帮助捕捉运动，而运动学骨架只能跟踪刚体运动，所以这种方法往往需要其他扫描技术来辅助捕捉时变的形状。最后，以上所有方法都不能跟踪穿着任意服饰人的运动。

近年来，在计算机图形学中，新的动画捕捉与设计、动画编辑以及变形传递方法不断涌现。这些方法不再依赖于运动学骨架和运动参数，而是基于表面模型和一般的形状变形方法，从而可以捕捉刚体以及非刚体的变形。但是，所有这种基于多视角视频的运动捕捉及恢复方法，初始帧的静态三维重建都需要采用激光扫描仪进行。虽然激光扫描仪可以获得高精度的三维重建结果，但是激光扫描仪昂贵、费时费力，扫描期间人必须处于完全静止不动状态。而且为了后续工作的方便，人通常是两手握拳站立的，所拍摄的多视角视频也是双手握拳做动作。另外，以激光扫描仪的重建结果作为初始场景表示的方法，所恢复的整个动态三维序列中都一直保留着扫描时模型上的一些表面特征，如衣服的褶皱等。

发明内容

本发明的目的旨在至少解决上述技术缺陷，本发明提出了一种静态和动态三维模型的捕捉及重建方法和系统。

为达到上述目的，本发明一方面提出了一种静态三维模型的捕捉及重建方法，包括以下步骤：对环形场中的运动物体进行图像采集；获取可视外壳模型；根据各个视角图像、所述可视外壳模型以及预设的约束条件获得各个视角的深度点云；对获得的所述各个视角的深度点云进行融合得到静态三维模型。

本发明另一方面还提出了一种静态三维模型的捕捉及重建系统，包括：围绕环形场的多个摄像机，用于对环形场中的运动物体进行图像采集；静态三维模型重建装置，用于获取可视外壳模型，并根据各个视角图像、所述可视外壳模型以及预设的约束条件获得各个视角的深度点云，以及对获得的所述各个视角的深度点云进行融合得到静态三维模型。

本发明再一方面还提出了一种动态三维模型的捕捉及重建方法，包括以下步骤：获取静态三维模型；将静态三维模型的表面模型转换为体模型，并将其作为运动跟踪的默认场景表示；获取模型顶点在下一时刻的初始三维运动；根据预定的空时约束条件从获取的顶点中选择精确的顶点作为体变形的位置约束；根据所述位置约束驱动拉普拉斯体变形框架更新动态三维模型。