[发明专利]一种用于多焦面三维重建的合成数据集生成方法

说明书

本发明属于三维重建技术领域，具体涉及一种用于多焦面三维重建的合成数据集生成方法。包括以下步骤：首先，通过相机采集不同场景下的灰度图像，再筛除部分深度不适定场景得到场景图像集；其次，初等函数、分段函数和进化算法的测试函数模拟场景的深度形貌，并使用形貌核函数随机变换得到三维形貌图集；最后，将场景图像集和三维形貌图集利用点扩散函数模拟生成多焦面图像数据集。本发明的方法可低成本、高效率的实现巨量多焦面图像数据集的模拟，有助于缩小合成数据集和真实数据集之间的差距。

技术领域

本发明属于三维重建技术领域，具体涉及一种用于多焦面三维重建的合成数据集生成方法。

背景技术

多焦面三维形貌重建作为计算机视觉领域的重要分支，主要应用于卫生医疗、生物制药和精密制造等领域物体表面的三维建模和量化分析。随着精细测量、智能建模和三维互动体验等多场景应用需求增多，现有的多焦面三维重建方法无法满足多样化应用场景的智能决策。

现阶段，测量物体表面的多焦面三维形貌重建方法大体可分为传统数学建模和神经网络拟合两类。其中，传统数学建模方法首先通过构建聚焦测量算子评估待测场景的聚焦测量体积；随后对聚焦测量体积的序列维度细化评价得出聚焦点的相对位置信息即为初始深度图；最后借助待测场景边缘等信息修复初始深度图得到最终的深度图。由于数学建模的聚焦评价算子参数固定、边缘信息与初始深度信息无法有效融合，无法自适应预测场景下的三维形貌结构。随着大规模的多焦面图像数据集开源和计算机硬件的高速发展，神经网络从多焦面图像数据集中挖掘抽象的聚焦特征和场景语义特征形成智能化决策模型，可有效克服传统数学建模方法单一场景预测的缺陷。神经网络对于多焦面图像序列中聚焦区域的决策取决于数据集的采集方式和三维形貌的标注，二者直接影响神经网络在多场景下三维重建的鲁棒性和精准度。目前，多焦面图像数据集主要采集中观室内场景和宏观建筑场景，中观和宏观场景数据集借助图像纹理细节和颜色分布辅以三维重建，但这类场景无法适用于精细纹理场景领域；三维标注大多利用光场多视角图像数据模拟平面聚焦或使用Blender计算成像构建离焦，二者都仅生成少量的景深图像，无法实现低成本与高效率的多焦面图像数据。

上述研究现状表明，现有的三维重建方法存在以下两方面不足：传统数学建模依赖初始的参数构建，无法适配多个场景的三维形貌重建；现有的多焦面图像数据集因为图像数据采集方式单一和三维标注昂贵，无法引导神经网络拟合诸多场景的特殊形貌。

综上所述，我们认为在多焦面三维重建方法中，数据集的采集方式的改进和三维结构精细化标注是解决神经网络式三维重建方法的途径之一。因此，本发明方法通过设计一种用于多焦面三维重建的合成数据集模拟方法，可实现多视角下场景的统一性和三维结构的低成本标注，借此引导神经网络实现跨场景应用。

发明内容

为克服现有方法的不足之处，本发明的目的是提供一种用于多焦面三维重建的合成数据集生成方法，包括以下步骤：

步骤1，相机采集不同场景的灰度图得到场景图像集n表示场景图像数，其取值范围为1≤n≤N，N为图像总数；

步骤2，对步骤1中得到的场景图像集根据式(1)计算图像信息熵和式(2)计算图像梯度累加和，然后通过式(3)得到场景图像集的纹理评价结果，

E(I_n)＝0.4×EN(I_n)/8+0.6×GR(I_n)/(3×10⁶),1≤n≤N(3)

其中EN()代表图像信息熵函数，I_n(p)代表图像中各像素的统计值，p表示图像中灰度值，GR()代表图像梯度累加和计算函数，sum()表示单点求和函数，*表示卷积操作符，E()表示图像纹理评价函数；

步骤3，对步骤1中得到的场景图像集根据式(4)的筛选规则得到富纹理且灰度范围适中的场景图像集