[发明专利]基于人工神经网络的RGB图像场景三维模型重建方法

权利要求书

1.基于人工神经网络的RGB图像场景三维模型重建方法，其特征在于，包括如下步骤：

步骤1.训练阶段：

用到两个人工神经网络模型，分别实现场景的二维拓扑结构识别和物体检测功能，需要分别进行训练；

二维拓扑结构识别的人工神经网络模型：

首先更改训练数据：原始数据集中对室内场景的三类交线进行标记，ground truth中包含了地面与墙面、天花板与墙面、墙面与墙面之间的交线三类交线的标记数据，采用墙面与地面交线、墙面与墙面交线、墙面与天花板交线三类交线来定义室内场景的二维拓扑，从而将室内常见的二维拓扑识别看作是回归得到三类交线位置的问题；其中使用的数据集为LSUN；

其次设计神经网络并训练，实现对室内场景的二维拓扑识别；选择卷积残差神经网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用卷积层代替一般的全连接层，实现对室内场景的二维拓扑识别，输出为场景中三类交线的位置预测结果

物体检测的人工神经网络模型：

设计网络并训练，实现对室内场景的语义分割，从而检测到场景中物体的分布情况及轮廓；搭建人工神经网络模型，选择卷积残差神经网络和金字塔池化网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用卷积层代替一般的全连接层，实现对室内场景的语义分割；输入数据为普通RGB图片，对应的ground truth为输入图片中的场景人工语义分割的结果，网络输出结果与ground truth之间进行比较，运用梯度下降的方法求得较好的网络权值，得到的模型能够对室内场景中的物体进行37类的分类，网络输出结果为w*h*37的矩阵，每个通道对应一类物体在该场景中存在概率，取每个像素对应的37维概率向量中最大值所在通道作为汇总结果中该像素的类别，最终可得到该场景的语义分割结果，从而检测到场景中物体的分布情况及轮廓；

步骤2.用步骤1中得到的模型对输入的RGB图像进行处理，得到输入图像中场景的二维拓扑识别特征图和物体识别特征图，对特征图进行优化，过滤其中的噪声，得到场景二维拓扑的节点像素坐标和场景中物体外观轮廓的坐标及其物体类别标签；

步骤3.对室内场景的拓扑结构和物体进行重建；

步骤4.使用OpenGL进行三维模型渲染，三维模型表面像素颜色为原输入图像中场景拓扑平面和物体的颜色，较为真实地渲染得到场景的三维模型。

2.根据权利要求1所述的一种基于人工神经网络的RGB图像场景三维模型重建方法，其特征在于步骤3所述的对室内场景的拓扑结构和物体进行重建，其相关约束条件如下：

①相机光轴方向平行于地面；

②拍摄的场景为曼哈顿世界，相邻平面两两垂直，场景中物体为规则物体；

③视频帧序列通过透视投影获得，使用具有固有矩阵K的拍摄设备；点Q为相机坐标系下的一点，点q为像素坐标系下的一点，点Q映射到点q满足如下公式：

Q_i＝λK^-1q_i

其中，λ为转换系数，点Q坐标表示，点q坐标表示以及转换矩阵K分别表示如下：

其中，f为相机的焦距，Δu和Δv为像平面坐标系转为像素坐标系的转换；

平面法向量和平面到相机中心距离满足：

d_p＝n_pQ_i＝n_pλK^-1q_i；

其中，n_p为平面法向量；

利用步骤2中得到的场景二维拓扑节点坐标和物体外观轮廓节点坐标，利用曼哈顿世界相邻平面两两垂直，利用空间中一点在像素坐标系下存在唯一投影进行约束，优化得到输入图像中组成场景拓扑平面和组成场景中物体平面的三维信息，经OpenGL渲染后即为该帧图像对应的三维平面。