[发明专利]一种利用镜子重建三维人体的方法

说明书

本发明公开了一种利用镜子重建三维人体的方法，输入一张含有镜子、人体、人体镜像的图片，本方法将人体镜像当作一个虚拟相机拍摄的像，利用人体三维姿态参数的共享、镜面对称、重投影等约束同时重建出人和镜像各自的朝向、位置，以及三维姿态参数，能够有效解决单个视角下人体姿态的深度歧义性与遮挡问题。此外，本发明还提供了一种利用人体语义关键点估计镜面法向和相机内参的方法，能够显式地约束人体朝向，进一步提高重建精度。

技术领域

本发明属于计算机技术领域，尤其涉及一种利用镜子重建三维人体的方法。

背景技术

单视角三维人体重建是指用单个相机拍摄得到的图片重建出人体的三维姿态。该问题最明显的挑战是单视角的深度歧义性，比如胳膊无论朝前还是朝后，投影到图像平面，从二维关键点的角度看，都是一样的。现有方法大都利用人体先验信息去减小该歧义性，比如惩罚不正常的肢体弯曲角度，或使用一个判别器判断某个人体姿态是否合理。这些方法对于一些简单的人体姿态比较有效，但无法处理复杂的情况。此外，当前的方法还无法准确地恢复人在相机系下的全局位置，在多人场景下缺乏人与人相对位置的一致性。

发明内容

本发明的目的在于针对现有技术的不足，提出了一种利用镜子重建三维人体的方法，并利用人体语义关键点估计镜面法向和相机内参，能够有效消除单视角人体重建的深度歧义性。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提出了一种利用镜子重建三维人体的方法，包括以下步骤：

1.二维人体姿态估计：输入一张含有镜子、人体、人体镜像的图片，使用人体检测器得到二维包围框，将人和人的镜像当作两个人，使用现有的二维人体姿态估计器如HRNet，分别检测其二维关键点。

2.三维姿态参数的共享约束：考虑到镜子中的人和真实人体有着同样的动作(左右互换之后)，因此可以约束真实人体和镜像共享同一组三维姿态参数。这里的三维姿态参数可以为三维关键点相对坐标、骨架模型关节之间的旋转角(如轴角)、人体模型(如SMPL)的姿态参数等。该参数可通过预先定义好的映射关系，如骨架模型的正运动学或人体模型的参数到人体的映射，得到整个人体的三维姿态。

3.优化：基于三维姿态参数共享约束，构建目标函数，优化得到一组被人体和镜像共享的三维姿态参数。

进一步地，目标函数还包括镜面对称约束，分别由一个平行项和一个垂直项表示。

平行项具体如下：利用镜面对称信息，人和镜像对应的关键点(如人的左手腕对应镜像的右手腕)连接成一条直线，约束任意两条连接成的直线互相平行，即两直线方向的叉乘应该足够小。

垂直项具体如下：此外，理论上这些直线应该平行于镜面法向，但考虑到镜面法向是未知的，而直线的中点理论上位于镜面，因此更宽松地约束任意两条直线垂直于它们的中点的连线，即直线方向和两直线中点连线的点乘应该足够小。

进一步地，还包括重投影和先验约束：这两个是常用约束。重投影约束使得三维关键点的投影和二维关键点一致，而先验约束起到一个正则化的作用，使得优化后的人体不会偏离初始估计太远，避免了姿态过于扭曲的情况。在步骤3优化过程中，可以将三维姿态参数共享约束、镜面对称约束、重投影和先验约束合并起来，构建目标函数。

进一步地，步骤3优化过程中，采用优化算法如L-BFGS进行优化，收敛得到最终结果。

根据本发明的第二方面，提出了一种利用人体语义关键点估计镜面法向和相机内参的方法，包括以下步骤：