[发明专利]一种针对物体遮挡场景的人体形状和姿态估计方法

说明书

本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下，获得不带遮挡情况下包含人体形状信息的UV图像；对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；将获得的虚拟遮挡数据训练编码‑解码结构的UV贴图修复网络；输入真实物体遮挡人体彩色图像，以掩膜图像作为真值构建编码‑解码结构的显著性检测网络；使用编码得到的隐空间特征监督人体编码网络训练；输入遮挡人体彩色图像，得到完整的UV图像；使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。

技术领域

本发明属于计算机视觉及三维视觉领域，具体涉及一种针对物体遮挡场景下的人体形状和姿态估计方法。

背景技术

从单张图像中估计三维人体的形状和姿态是近年来三维视觉领域的一个研究热点。它在人体运动捕捉、虚拟试衣和人体动画等虚拟现实技术的应用方面有着重要的作用。近年来，深度学习技术简化了从单张图像恢复人体整体形状的求解方式，特别是在SMPL模型被提出并得到广泛应用以后，单目图像三维人体形状和姿态估计经历了多个阶段的蓬勃发展，包括(1)通过匹配二维视觉特征来优化求解SMPL参数；使(2)用卷积神经网络(CNN)直接回归SMPL参数；(3)利用二维UV贴图表示SMPL表面三维点，进而将三维人体形状估计转化成基于CNN的图像翻译问题。深度神经网络凭借其准确性和运行效率成为三维人体形状估计的主流方法，它们能够在特定场景下获得较好的重建结果。然而，现有方法大多都没有考虑人和物体之间的遮挡这一常见的现象。如果不明确考虑遮挡，这类方法就不能直接转移到处理遮挡场景下的人体估计。这导致它们对带遮挡甚至轻微物体遮挡的场景十分敏感，难以满足现实需求。

一直以来，遮挡场景下的人体三维形状和姿态估计始终是领域内的难点，其主要原因有：(1)对象遮挡会在网络训练中引入严重的歧义，并且导致可直接利用的图像特征大大减少，从而影响完整的三维人体形状估计效果。(2)由于遮挡物体的普遍性和随机性，网络难以准确分割图像中人体和遮挡对象所在的像素，导致重建结果受到干扰。

发明内容

发明目的：针对遮挡场景下的人体形状和姿态估计问题，本发明提出一种针对物体遮挡场景的人体形状和姿态估计方法，将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。

技术方案：本发明所述的一种针对物体遮挡场景的人体形状和姿态估计方法，包括以下步骤：

(1)在数据准备阶段，利用三维人体数据集人体三维关节点与二维关节点之间的对应关系计算弱透视投影参数；

(2)根据计算得到的弱透视投影参数，通过三维旋转、平移将人体三维模型转换到相机坐标下；

(3)将相机坐标下的人体三维模型顶点x,y,z坐标值归一化到-0.5至0.5范围内后存入UV贴图的R,G,B三个通道中，获得不带遮挡情况下包含人体形状信息的UV贴图；

(4)对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；

(5)重复步骤(3)，使用弱透视投影后落在掩膜区域之外的三维点为视觉遮挡下的三维点，其x,y,z坐标固定设为-0.5，获得对应遮挡下的UV贴图；

(6)在训练阶段，基于步骤(1)至步骤(5)获得的虚拟遮挡数据训练编码-解码结构的UV贴图修复网络；所述修复网络以与完整人体UV图之间的L1损失，相邻像素之间的拉普拉斯平滑项以及UV连接处一致性作为约束；

(7)利用真实物体遮挡人体彩色图像作为输入，以掩膜图像作为真值构建编码-解码结构的显著性检测网络；

(8)将遮挡人体彩色图片与显著性图连接后送入人体编码网络，同时将相应遮挡下的UV贴图使用步骤(6)训练好的修复网络进行编码，使用编码得到的隐空间特征监督人体编码网络训练；