[发明专利]基于单图片本征图像分解的三维重建方法与系统

权利要求书

1.基于单图片本征图像分解的三维重建方法，其特征在于，包括以下步骤：

S1、采集多个物体的模型数据，包括三维RGB模型及与每个三维RGB模型对应的视角图片；

S2、利用反照率梯度指标与光照梯度指标改造视角图片，得到反照率梯度图和光照梯度图；

S3、利用反照率梯度图分割光照梯度图，在光照梯度图的各个区域内使用梯度场重建算法获得视角图片的光照图，再根据本征图像分解的原理获得视角图片的反射图；

S4、训练三维RGB重建网络；其中，三维RGB重建网络训练过程中以光照图和反射图作为输入，以三维RGB模型作为输出，所述三维RGB重建网络的结构包含形变网络和RGB网络，具体过程如下：

S401、将对视角图片进行本征图像分解而来的光照图和反射图与三维RGB模型对应起来，形成图-模型对，以图-模型对为单位将采集的三维RGB模型与对应的光照图和反射图划分成训练集和验证集，训练集与验证集交集为空；

S402、在训练集上，将光照图输入到形变网络中，会输出三维RGB模型的顶点坐标和顶点上的形变特征，使用输出的三维RGB模型的顶点坐标与训练集上图-模型对中的三维RGB模型计算损失函数，训练形变网络直至损失函数收敛；在验证集上，将光照图输入到形变网络中，得到预测的三维RGB模型的顶点坐标，计算与图-模型对中三维RGB模型顶点坐标的差异，评估形变网络的性能；其中，光照图到三维RGB模型的顶点坐标和顶点上的形变特征的变化步骤如下：

S4021、光照图经过编码器和解码器，所述编码器重复卷积和下采样操作，所述解码器重复卷积和上采样操作；

S4022、在解码器的多层结构中，取两个不同中间层的输出和最后一层的输出作为低、中、高分辨率的图像特征；

S4023、利用相机内参形成的投影关系将初始球面投影到视角图片所在的图像平面，利用双线性插值法为初始球面顶点赋予低分辨率的图像特征插值形成的低分辨率顶点图像特征；其中，初始球面的形成步骤如下：

S40231、初始化一个正八面体，连接正八面体每个正三角形面各边的中点，一个正三角形面会被细分为四个小正三角形面，对每个正三角形面递归地细分下去，得到一个多顶点和正三角形面的封闭曲面；

S40232、将封闭曲面的顶点坐标进行归一化，再进行尺度伸缩，生成初始球面；

S4024、在第一个图卷积模块中，将低分辨率顶点图像特征与第一个图卷积层节点上的特征拼接起来，经过后续多个图卷积层的处理，得到第一图模块特征；其中，图卷积模块包含多个结构相同的图卷积层，形变网络中共有三个图卷积模块；第一个图卷积模块中每个图卷积层的节点数与初始球面的顶点数相同；第一图模块特征前三维描述了顶点坐标，其它维描述了顶点上的形变特征；

S4025、根据第一个图卷积模块特征恢复出网面，连接网面的各边中点，再利用步骤S4023中的投影关系与双线性插值法将中分辨率的图像特征映射到网面上，形成中分辨率顶点图像特征，中分辨率顶点图像特征经过与低分辨率顶点图像特征和第一个图卷积模块的同样处理，递推地，在第二个图卷积模块的处理下形成了第二图模块特征；

S4026、递推地，与步骤S4025一样，根据第二图模块特征，第三个图卷积模块输出了形变网络所输出的三维RGB模型的顶点坐标和顶点上的形变特征；

S403、在训练集上，将形变网络得到的顶点上的形变特征与反射图输入到RGB网络中，会输出三维RGB模型的RGB值；使用三维RGB模型的RGB值与训练集上图-模型对中的三维RGB模型计算损失函数，训练形变网络直至损失函数收敛；在验证集上，将反射图输入到RGB网络中，得到预测的三维RGB模型的RGB值，计算与图-模型对中三维RGB模型的RGB值的差异，评估形变网络的性能；其中，反射图到三维RGB模型的RGB值的变化步骤如下：

S4031、将从反射图得到的顶点上的映射图像特征与形变网络得到的顶点上的形变特征进行1×1卷积融合形成融合特征；其中，顶点上的映射图像特征的生成步骤如下：

S40311、反射图经过编码器和解码器，输出反射图像特征；其中编码器和解码器的结构与步骤S4021所述的编码器和解码器结构相同；

S40312、利用步骤S4023中的投影关系与双线性插值法，将反射图像特征映射到形变网络得到的顶点坐标上，得到映射图像特征；

S4032、将融合特征输入颜色图卷积模块进行处理，输出结果作为RGB网络的输出：三维RGB模型的RGB信息；其中颜色图卷积模块的结构与第三个图卷积模块的结构相同；

S5、根据训练学习得到的三维RGB重建网络对新图片产生的光照图和反射图进行预测，得到新图片中物体的三维RGB模型，完成对物体的三维重建。