[发明专利]孔洞修复模型训练及修复方法、装置、系统

说明书

本发明实施例公开了一种孔洞修复模型训练及修复方法、装置、系统，其中，对全景图像进行预处理，选取部分全景图像对全景图像进行高亮或低亮处理；将处理后的所述全景图像输入神经网络，得到模拟深度图；根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。其次利用孔洞修复模型对新的全景图像进行孔洞修复处理。孔洞修复处理还需要参照深度图的自信度，自信度大的深度数值进行修复。通过深度学习的方法得到现有设备盲区的点云深度信息，从而对解决模型孔洞的问题。

技术领域

本发明涉及计算机三维空间建模技术领域，尤其是一种孔洞修复模型训练及修复方法、装置、系统。

背景技术

在室内三维模型的数据采集阶段，一般需要利用特殊设备，收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后，通过标定好的相机参数、RGB图片以及深度图片得到RGBD图，这样就能够结合相机位姿将RGBD图转化为单个相机点位的点云。

由于设备本身采集方案限制(深度相机通过发射并接收结构光信息从而计算物体表面空间信息)，在一些特殊情况，采集到的深度是不完整的，甚至有些情况下完全采集不到深度信息。这样，重建出的相机点云就存在不完整的情况。这种不完整可能存在以下几种原因：

拍摄扫描物体距离设备太远，深度像机无法采集到响应信息；

拍摄扫描物体表面为黑色，深度相机发射的结构光射线被深色物体吸收而无法返回，则无法计算物体表面三维位置信息；

拍摄扫描物体表面光强太高，例如阳台等区域在阳光照射下光强太高，深度相机发射的结构光射线无法被自身设备识别，从而无法计算物体表面三维位置信息。

以上三种情况中，第一种情况由于远距离无法采集到的信息，可以通过其他位置继续采集从而进行弥补丢失信息。而其他两种情况，由于自身采集深度基本原理的限制，出现的点云不完整的现象，在整个房屋建模中，模型也会出现孔洞，或者大面积缺失的情况。

现有技术中，现有的方案是通过摄影师手动对地面、墙面等较大块平面缺失位置进行平面补充，这种方式存在诸多不足之处，例如，手动操作耗费人力、手动操作精确性存在不稳定性、对于较小孔洞或者复杂结构表面无法修补等。这种手动操作的方式效率低，成本高，并且不能保证精度和有效性。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种孔洞修复模型训练及修复方法、装置、系统，解决现有技术三维模型重建过程中，由于模型重建技术本身缺陷导致的模型重建不完整，有孔洞，展示效果差等问题。

根据本发明的一个方面，提供了一种孔洞修复模型训练方法，所述方法包括：

对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射；

将处理后的所述全景图像输入神经网络，得到模拟深度图；

根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。

较佳的，所述方法还包括：

所述全景图像对应的原始深度图根据历史数据获取；或将所述全景图输入神经网络后得到所述全景图像对应的原始深度图。

较佳的，所述对全景图像进行高亮处理或低亮处理，包括：

所述高亮处理包括：

从所述全景图像中选取部分方形区域；

用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；

将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；