[发明专利]基于单个RGBD相机的三维人体自画像重建方法及系统

说明书

本发明提出了基于单个RGBD相机的三维人体自画像重建方法，该方法首先输入人体面对相机的第一帧图像，通过神经网络推测出形状先验，基于该形状先验实现双层非刚性运动跟踪，生成局部扫描，最后通过轻量级捆绑调整算法生成几何细节丰富、且具有纹理的三维人体自画像。该方法所需的输入信息非常容易采集，并且可以快速地获取三维人体自画像。该方法求解准确、快速，简单易行，可以在PC机或工作站等硬件系统上快速实现，还可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。本发明还提出了基于单个RGBD相机的三维人体自画像重建系统，该系统包括单个RGBD相机、深度神经网络模块、运动跟踪模以及捆绑调整模块。

技术领域

本发明涉及到计算机视觉与计算机图形学技术领域，尤其涉及到一种基于单个RGBD相机的三维人体自画像重建方法及系统。

背景技术

三维人体自画像重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，设备复杂，这些方法往往需要多相机阵列的搭建；第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。

发明内容

本发明的目的是为了克服现有技术的不足，提供了一种基于单个RGBD相机的三维人体自画像重建方法及系统。

本发明是通过以下技术方案实现：

首先，本发明提供了一种基于单个RGBD相机的三维人体自画像重建方法，该基于单个RGBD相机的三维人体自画像重建方法包括以下步骤：

S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；

S2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；

S3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；

S4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色。

优选的，步骤S3中，将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数。

优选的，所述能量函数的表达式为：

E＝λ_outerE_outer+λ_innerE_inner+λ_smoothE_smooth；

其中，E_outer/inner为双层数据项，表达式为：C_outer,C_inner分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，v和n_v分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，u为与之对应的对应点坐标；

E_smooth为正则项，表达式为：是结点i的相邻结点；

λ_outer,λ_inner,λ_smooth分别为各项权重系数。

优选的，基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点，依此能量函数的表达式变为：

E＝E_tsdf+λ_smoothE_smooth；