[发明专利]基于单个RGBD相机的三维人体自画像重建方法及系统

权利要求书

1.一种基于单个RGBD相机的三维人体自画像重建方法，其特征在于，包括以下步骤：

S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；

S2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；

S3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；

将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数；

所述能量函数的表达式为：

E＝λ_outerE_outer+λ_innerE_inner+λ_smoothE_smooth；

E_outer/inner为双层数据项，表达式为：C_outer,C_inner分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，v和n_v分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，u为与之对应的对应点坐标；

E_smooth为正则项，表达式为：是结点i的相邻结点；

λ_outer,λ_inner,λ_smooth分别为各项权重系数；

基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点，依此能量函数的表达式变为：

E＝E_tsdf+λ_smoothE_smooth；

其中，E_tsdf是数据项，表达式为：T是初始形状先验的顶点集合，v是其中一个顶点，是经过非刚性变形后v的坐标，TSDF(·)是一个三线性插值函数；

S4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色；

对局部扫描构建能量函数来执行捆绑调整，得到的表达式为：

其中，是定义在第j个局部扫描上的bundle变形；

是定义于第i个关键帧的live变形；

E_loop是闭环项，表达式为：N是局部扫描的数量，C_i,j是第i个与第j个局部扫描之间的对应点集，(v_p,v_q)是一对对应点对，分别是两个局部扫描的顶点，n_p是v_p对应的法向向量；

E_depth是深度项，表达式为：K是关键帧的数量，D_ji是第j个局部扫描与第i个关键帧深度点云之间的对应点集，(v,u)是一对对应点，v是局部扫描上的点，u是深度点云上的点，n是v对应的法向向量；

E_silhouette是轮廓项，表达式为：B_i是局部扫描上的轮廓点集，v_j是其中一个点，d_j＝{-1,+1}指示优化的正确方向，是对输入人体轮廓图像做距离变换操作得到的图像，π(·)代表向三维空间向图像的投影操作。

2.一种基于单个RGBD相机的三维人体自画像重建系统，其特征在于，包括：

单个RGBD相机，用来拍摄人体RGBD图像；

深度神经网络模块，用于推断人体三维形状先验；

运动跟踪模块，用于求解模型每个顶点的非刚性运动参数并融合局部扫描；

将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数；

所述能量函数的表达式为：

E＝λ_outerE_outer+λ_innerE_inner+λ_smoothE_smooth；

E_outer/inner为双层数据项，表达式为：C_outer,C_inner分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，v和n_v分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，u为与之对应的对应点坐标；

E_smooth为正则项，表达式为：是结点i的相邻结点；

λ_outer,λ_inner,λ_smooth分别为各项权重系数；

基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点，依此能量函数的表达式变为：

E＝E_tsdf+λ_smoothE_smooth；

其中，E_tsdf是数据项，表达式为：T是初始形状先验的顶点集合，v是其中一个顶点，是经过非刚性变形后v的坐标，TSDF(·)是一个三线性插值函数；

捆绑调整模块，用于优化局部扫描并融合成一个完整模型，并计算顶点颜色，得到几何细节丰富、具有纹理的人体三维自画像；

对局部扫描构建能量函数来执行捆绑调整，得到的表达式为：

其中，是定义在第j个局部扫描上的bundle变形；

是定义于第i个关键帧的live变形；

E_loop是闭环项，表达式为：N是局部扫描的数量，C_i,j是第i个与第j个局部扫描之间的对应点集，(v_p,v_q)是一对对应点对，分别是两个局部扫描的顶点，n_p是v_p对应的法向向量；

E_depth是深度项，表达式为：K是关键帧的数量，D_ji是第j个局部扫描与第i个关键帧深度点云之间的对应点集，(v,u)是一对对应点，v是局部扫描上的点，u是深度点云上的点，n是v对应的法向向量；

E_silhouette是轮廓项，表达式为：B_i是局部扫描上的轮廓点集，v_j是其中一个点，d_j＝{-1,+1}指示优化的正确方向，是对输入人体轮廓图像做距离变换操作得到的图像，π(·)代表向三维空间向图像的投影操作。