[发明专利]单幅人物图像中着装人体三维模型估计方法

说明书

技术领域

本发明涉及人体建模和计算机辅助设计领域，具体涉及单幅人物图像中着装人体三维模型估计方法。

背景技术

虚拟现实(Virtual Reality，简称VR)以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验。随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，人们对虚拟现实技术的研究日益重视，虚拟现实技术也取得了巨大进展，并逐步成为一个新的科学技术领域。

在虚拟现实环境的构建中，逼真的三维人物模型能够加深用户的沉浸感，方便用户之间的交互。但是现有的三维模型构建技术需要专业人士的大量手工交互，且与真实人物还是有明显差异。相较之下，基于单帧图像的三维人物模型估计技术具有取材方便、操作简易、近似真实人物的优点。从虚拟现实和增强现实的理论技术发展和实用化应用前景来看，基于图像的三维人物模型构建技术正在成为虚拟现实和增强现实方向的技术发展趋势和典型研究热点。

本方法涉及人体三维姿势估计，三维人物模型表示以及基于图像/视频的三维人体模型估计等多方面相关技术，现分别介绍各项技术的发展现状。

基于单帧图像的三维人体姿势估计：该方面技术从给定的单张图像中估计出目标人物的三维姿势，并且以三维人体骨架的方式展现估计结果。目前该类技术大都采用半自动方法确定图像中目标人物关节点的位置，再以此建立约束恢复出人物三维姿势。但是由于用户标点存在误差，摄像机参数及目标人物的骨骼比例无法获取，估计出的三维姿势往往不是自然的动作。为了将人物姿势限制在理想的范围，微软亚洲研究院的Rose等人将预先构建出的三维姿势库中的样本按不同权重组合并进行插值，以构建出满足用户约束的自然动作，但是该方法只限于较小的样本库。德州农工大学的Xiaolin Wei等人使用混合因子分析的方法，对百万个真实三维人体姿态作进行学习以获得先验，能够对任意给定姿态的“自然程度”进行评估。对于输入的单张图像，在用户对关节点手工标点后，综合人体姿态先验及用户给定的约束，求解出符合用户约束且合理的三维人体姿势，有很大的借鉴意义。

三维人物模型表示技术：三维人物的表示方法按照模型的精细度来划分，由低到高大致可分为四类：非参数化模型，如点云模型等；通用几何体模型，如基于圆柱体的肢体表示模型等；参数化类人模型，如超二次曲面模型等；以及基于数据驱动的参数化人体模型。其中，基于数据驱动的参数化人体模型对人体的描述最为精细准确，因为这种技术的数据基础是大量真实人物的三维扫描信息，能够最为真实地反映人体在体型与动作两方面的非刚性变化，对基于图像/视频的人体三维模型估计技术提供可靠的先验信息。该种模型的核心在于对人体体型及动作变形进行参数化表示。

为了学习出人体体型的变化范围，华盛顿大学的Allen等人首先对同一姿势下各种体型的真实人物进行三维扫描，得到人体体型的三维模型样本，然后将一个手工构建的虚拟人物逐个变形拟合到这些样本上，得到其中的变形参数，最后对这些参数进行插值以获取人体体型变化的连续空间。该方法的局限性在于不能对人体动作变形进行描述。

斯坦福大学的Anguelov等人提出了一种在动作和体型上都可以变形的三维人体模型，简称SCAPE模型。在体型学习上，SCAPE模型沿用了Allen等人的方法；在动作学习上，使用了同一人物不同动作的三维扫描模型作为学习样本。最后使用基于三角形的连续仿射变换方法获得关于体型及动作的变形参数，并分别使用主成分分析及线性回归拟合的方法对这两种参数进行插值变换。该种方法能够逼真地反映真实人物在动作及体型上的变化，具有很大的借鉴意义。

基于图像/视频的三维人体模型估计：由于人体同时存在刚体与柔体的变形，使得基于单目图像/视频的三维人体模型估计难以开展。目前的相关研究大都是在预先调配好的协同多视角环境下进行的。布朗大学的Bǎlan等人搭建了一个用于构建人体模型的协同环境，包括4个配准并同步的摄像机，能够从4个角度获取到目标人物在同一时刻的多张图像。Bǎlan等人首先使用基于圆柱体的人体模型对目标人物的三维动作进行初步估算，然后使用SCAPE人体模型对各图像上的目标人物同时进行拟合，最终获得一个目标人物的三维模型。该方法有三个限制：必须使用多视角协同摄像头环境且目标人物身穿紧身衣物，另外模型与目标人物的拟合过程比较缓慢。