[发明专利]动态场景光场重建方法及装置

权利要求书

1.一种动态场景光场重建方法，其特征在于，所述方法包括以下步骤：

通过预训练的语义分割的网络获取人体分割的结果，根据预先获取的场景背景获取物体分割结果；

融合所述人体分割的结果和所述物体分割结果的多帧深度图得到几何模型，根据预训练的人体模型补全网络得到完整的人体模型，通过点云配准对准并将对准后的模型进行融合得到融合后的物体模型，以获得具有几何细节并完整的人体模型和物体模型；

通过所述点云配准跟踪刚性物体的运动；以及

通过人体骨架的先验和非刚性点云跟踪重建所述具有几何细节并完整的人体模型；

在获得所述具有几何细节并完整的人体模型的运动场和所述刚性物体的运动后，在时间序列上进行融合操作，通过所述融合操作得到重建后的人体模型和重建后的刚性物体模型；

通过优化函数求解得到所述刚性物体的运动；

所述点云配准的优化函数包含颜色和几何两个优化项，所述优化函数表达式如下：

其中，N是物体的数量，R是通过最近搜索找到的对应点集合，p、q是帧t和帧t−1的对应点，函数C返回点的颜色q，Cp是一个点p的切面上连续的预计算函数，函数f将三维点投影到切线平面，Ti为刚性物体的运动，λ_color是颜色优化项的系数，设置为0.1，λ_geo是几何优化项的系数，设置为0.9，E_color是颜色优化项的计算表达式，由邻近点的颜色差异计算得到,E_geo是几何优化项的计算表达式，由邻 近点的空间位置差异计算得到；

所述通过人体骨架跟踪包括：通过人体骨架的先验和非刚性点云跟踪，并在求解人体骨架节点的位置时加入新的约束项：

在求解人体骨架节点的位置时加入新的约束项：

其中，E_gmm是在人与物体交互的情况下采集的人体姿态数据，E_lstm是通过时序上的约束项，E_{sp_h}是几何上的交叉项，λ_gmm，λ_lstm，λ_{sp_h1}分别是优化项的系数；

所述通过人体表面节点的非刚性跟踪，包括：

通过联合求解优化方程，优化变量为体型：，姿势：，ED非刚性运动场：，所述优化方程为：

其中，第一项，体素数据项，λ_vd是优化系数，描述的是SMPL型和重建的几何模型之间的误差：

其中，的输入为一个点坐标，输出为这个点坐标在TSDF体里面的双线性插值的SDF值，表示罚函数。

2.根据权利要求1所述的动态场景光场重建方法，其特征在于，所述方法还包括：

根据重建的刚性物体在当前视角下投影的结果，去除所述人体分割的结果中错误的部分。

3.根据权利要求1所述的动态场景光场重建方法，其特征在于，所述根据预训练的人体模型补全网络得到完整的人体模型，包括：

当所述几何模型的平均权重达到特定预设阈值时，触动当前帧的人体模型经过一个训练好的深度学习网络，得到一个完整的人体模型。

4.根据权利要求1所述的动态场景光场重建方法，其特征在于，相互作用项，由如下的点到面距离表示：

其中，C为SMPL上的点和完整模型上的点u的最近点对集合，P为部分模型的顶点和完整模型上的点u最近点对集合，是点的法向量。

5.根据权利要求1所述的动态场景光场重建方法，其特征在于，对每个3D体素，表示通过ED非刚性运动变形后的位置，表示这个体素周围非空体素的数量；表示v的TSDF值；

计算当前的SDF值和更新权重，由下面公式计算：

其中，u是与对应的在完整上的模型的三维点，是它的法向量，是符号函数，由SDF值的正负决定。