[发明专利]基于二值化特征编码匹配的动态场景实时三维重建方法

权利要求书

1.一种基于二值化特征编码匹配的动态场景实时三维重建方法,其特征在于，包括以下步骤：

使用RGBD相机对动态场景进行拍摄，获得彩色深度图像序列，并将所述彩色深度图像序列中的单帧图像转换为三维点云；

通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，其中，所述标准模型的姿态参数根据所述彩色深度图像序列中的第一帧彩色深度图像确定；

确定所述匹配点对对应的集合对应的能量函数，并根据所述能量函数构建更新从所述标准模型到所述三维点云的非刚性运动场参数；

根据所述非刚性运动场参数更新所述标准模型得到目标模型；

所述通过二值化特征编码匹配，获取所述三维点云和标准模型顶点之间的匹配点对，包括：

通过卷积神经网络分别获取所述彩色深度图像序列中的相邻两帧彩色深度图像在不同卷积层的二值化特征；

从最粗糙的卷积层级开始，根据对应的所述二值化特征逐层估计所述相邻两帧彩色深度图像的像素匹配关系；

根据所述像素匹配关系构建所述三维点云和标准模型顶点之间的匹配点对，其中，在得到所述相邻两帧彩色深度图像的像素匹配关系后，对于所述标准模型中的顶点v_i，及该顶点处截至上一帧的累积变换矩阵将变形后的顶点投影至当前视角，得到坐标其中K为相机内参矩阵；结合所述相邻两帧彩色深度图像的像素匹配关系，在顶点v_i和根据像素深度值反投影至三维空间中的点u_i之间构建对应关系。

2.如权利要求1所述的方法，其特征在于，所述将所述彩色深度图像序列中的单帧图像转换为三维点云，包括：

根据相机的内参矩阵K 和预设的转换公式，将所述单帧图像投影到三维空间中，得到三维点云，其中，所述预设的转换公式为：

其中，(x，y，z)为三维点云坐标，(u，v)为所述单帧图像的像素坐标，D(u，v)为所述单帧图像的像素深度值。

3.如权利要求1所述的方法，其特征在于，所述确定所述匹配点对对应的集合对应的能量函数，包括：

根据预设的匹配公式构建所述能量函数，其中，所述预设的匹配公式为：

其中，其中为总能量项，为t时刻的非刚性运动场参数，E_depth为深度数据项，约束变形后的标准模型与t时刻深度图像之间的一致性，E_reg为对非刚性运动场局部刚性运动的约束，λ_depth和λ_reg分别为两项能量函数的权重。

4.如权利要求3所述的方法，其特征在于，所述根据所述非刚性运动场参数更新所述标准模型得到目标模型，包括：

所述深度数据项为：

其中，所述为所述标准模型上顶点v在进行非刚性变形后的坐标，u为通所述匹配点对的集合中与顶点v对应的匹配点，为点u处的法向量。