[发明专利]基于二维图像的网格模型重建方法、系统、装置及介质

权利要求书

1.基于二维图像的网格模型重建方法，其特征在于，包括以下步骤：

获取待重建目标物表面的二维图像；

通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；所述深度箱子用于表征深度值区间；

根据所述线性组合描述所述二维图像中像素的深度值，构建得到深度图，并根据所述深度图构建目标物的模型点云；

通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场；

根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型。

2.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述自注意力模型的训练过程，包括：

通过第一训练数据训练得到所述自注意力模型中的编码器；

根据特征上采样模块构建得到所述自注意力模型中的解码器；

根据所述编码器、所述解码器以及自注意力模块构建得到所述自注意力模型。

3.根据权利要求2所述的基于二维图像的网格模型重建方法，其特征在于，通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合，包括：

将所述二维图像输入至所述编码器进行编码，将编码结果输入至所述解码器进行解码得到所述二维图像的图像特征；

根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量；将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合。

4.根据权利要求3所述的基于二维图像的网格模型重建方法，其特征在于，所述根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量，包括：

将所述图像特征输入至编码卷积模块，根据所述码卷积模块的内核大小、步长以及输出通道数输出得到所述图像特征的第一张量；

根据所述自注意力模块的有效序列长度将所述第一张量进行展平得到第二张量；

根据所述第二张量通过多层感知机中的激活函数进行激活运算输出得到第一向量，将所述第一向量进行归一化处理得到所述深度箱子的宽度向量。

5.根据权利要求3所述的基于二维图像的网格模型重建方法，其特征在于，所述将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合，包括：

将所述范围注意力特征图输入至卷积核中进行卷积运算，将卷积运算的结果进行分类预测，得到分类预测的分数值；

根据所述深度箱子的宽度向量计算深度箱子中心位置的第一概率，根据所述第一概率以及所述分数值确定所述深度箱子的线性组合；所述线性组合用于描述像素的深度值。

6.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场，包括：

确定所述空间体素在世界坐标系中的第一位置点，根据所述深度图中深度数据对应的相机位姿矩阵确定所述第一位置点在相机坐标系下的第一映射点；

根据所述相机坐标系相机内参矩阵，对所述第一映射点既定反投影得到所述深度图中的第二位置点；

确定所述第一映射点与所述相机坐标系的原点之间的第二距离，根据所述第二距离以及第二位置点的深度值计算得到有向距离场，根据所述有向距离场确定所述第一距离；

根据所述第一位置点的投影光线、表面法向量的夹角以及所述第二距离即使算得到所述第一权重；

根据所述空间体素在当前帧中的所述第一距离以及所述第一权重确定所述空间体素的有符号的距离场。