[发明专利]基于二维图像的网格模型重建方法、系统、装置及介质

说明书

本发明提供的基于二维图像的网格模型重建方法、系统、装置及介质，方法包括以下步骤：获取待重建目标物表面的二维图像；通过自注意力模型对二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；深度箱子用于表征深度值区间；根据线性组合描述二维图像中像素的深度值，构建得到深度图，并构建目标物的模型点云；通过截断的带符号距离函数根据模型点云构建空间体素，并对二维图像进行帧融合得到有符号的距离场；根据有符号的距离场通过等值面提取模型表面，根据模型表面还原得到目标物的三维网格模型，方法能够达到更加准确、可靠的三维重建效果，方法重建耗时更短，能够快速且高质量完成三维重建，可广泛应用于计算机视觉技术领域。

技术领域

本发明涉及计算机视觉技术领域，尤其是基于二维图像的网格模型重建方法、系统、装置及介质。

背景技术

基于深度学习与表面重建的三维模型重建方法通过训练深度估计神经网络并且求解基于物理的微分方程来达到从图像还原三维模型的目的，在CG(计算机图形学)、3DCV(三维计算机视觉)、AR(增强现实)中有着大量运用。例如，在增强现实中，为了实现AR效果与周围物理场景之间的逼真与沉浸式交互，三维重建需要准确、连贯并且实时地执行。

在计算机视觉领域中，三维模型通常由网格(Mesh)表示。网格是构成三维对象的顶点，线和面的集合，大型模型通常是由较小的相互连接的平面(通常是三角形或矩形)构建而成的。在多边形网格中，每个顶点都保存着x，y，z坐标信息，每个面中都包含着顶点及顶点间的相互连接关系。对于二维图像来说，由于只存在一个方向与图像各像素的颜色，直接从图像重建三维模型是一个比较具有挑战性的问题。

相关技术方案中，三维模型重建框架将模型重建的计算流程分为两个步骤，即从彩色图像估计对应的深度贴图和使用估计的深度贴图重建点云模型然后进一步重建表面。深度估计指的是要寻找一种从图像中各像素点的颜色到各自对应的深度的映射。在获取到深度信息之后，可以通过原本生成这张贴图的相机内参数矩阵(Camera IntrinsicMatrix)，完成从二维空间到三维点云(Point Cloud)的逆投影变换。但是，在深度估计方面，相关技术方案中大多使用多视图序列(Multi-View Stereo)的方法来进行深度贴图估计。然而，这类型的方法依赖于单物体的多张不同视角的图片来进行恢复，并且估计的深度值大多有缺失。而基于卷积神经网络的方法无法捕捉到全局上下文交互信息，预测的深度值不够精确。在表面重建方面，泊松重建方法由于需要进行迭代求解，耗时较长，且无法在实时家居展示时使用该方法。

发明内容

有鉴于此，为至少部分解决上述技术问题或者缺陷之一，本发明实施例的目的在于提供一种基于二维图像的网格模型重建方法，方法充分利用全局上下文交互信息旨在获取更为精确的深度值；本申请技术方案同时还提供了方法对应的系统、装置以及介质。

一方面，本申请技术方案提供了基于二维图像的网格模型重建方法，包括以下步骤：

获取待重建目标物表面的二维图像；

通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；所述深度箱子用于表征深度值区间；

根据所述线性组合描述所述二维图像中像素的深度值，构建得到深度图，并根据所述深度图构建目标物的模型点云；

通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场；

根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型。

在本申请方案的一种可行的实施例中，所述自注意力模型的训练过程，包括：

通过第一训练数据训练得到所述自注意力模型中的编码器；