[发明专利]焦点堆栈重建指导下的基于散焦的深度预测方法及系统

说明书

本发明涉及深度预测技术领域，提出一种焦点堆栈重建指导下的基于散焦的深度预测方法及系统。该方法包括下列步骤：进行数据处理，其中对颜色‑深度数据集进行点扩散函数渲染以生成焦点堆栈数据集；向神经网络中输入所述焦点堆栈数据集以生成预测深度和预测全焦点图像；根据所述预测深度和所述预测全焦点图像生成重建焦点堆栈；以及对所述预测深度、所述预测全焦点图像以及所述重建焦点堆栈进行自监督训练。本方法在进行基于散焦的深度预测时可以不依赖于全焦点(AIF)图像，而完全依靠焦点堆栈进行自监督训练，因此具有拥有强大的迁移能力、在工业上能够广泛的应用，并且随着使用的焦点堆栈大小增加可以获得更高的深度预测精度而增加模型大小。

技术领域

本发明总的来说涉及深度预测技术领域。具体而言，本发明涉及一种焦点堆栈重建指导下的基于散焦的深度预测方法及系统。

背景技术

在计算机视觉领域，深度预测的目的是通过单张或者多张图像信息进行深度的重建，其广泛运用在自动驾驶、三维重建等任务中。传统的深度预测方法包括基于立体视觉的深度预测方法、单目深度重建方法以及基于散焦的深度预测方法。

基于立体视觉的深度预测方法模仿人眼确定深度的原理，利用相机坐标变换和世界坐标变换等几何方法，通过多视角确定点在空间中的位置。基于立体视觉的深度预测方法可以从视频中获取数据，也可以从多目相机中获得多视角图片，其通常作为神经网络训练中的辅助正则，常用在相机对齐或者无监督的深度预测工作中。

单目深度重建方法是目前深度预测方向的主流任务，其目标是通过对单张图片的分析学习其深度信息。单目深度重建方法需要大量先验知识、例如平面预测等，并需要有监督学习。随着注意力机制及Vison Transformer的流行，单目深度重建方法性能大幅提升。但由于需要大量先验知识，其在特殊场景的迁移能力有待考证。

基于散焦的深度预测方法的原理是，由于散焦现象自然存在于相机摄影中，薄透镜的光学模型与点扩散函数(PSF)均为成体系的物理模型，因而深度信息自然包含在模糊度信息中。基于散焦的深度预测方法传统上可以划分为基于焦点的深度预测方法和基于模糊度的深度预测方法。基于焦点的深度预测方法通过观察稠密焦点堆栈中清晰的部分优化得出分辨率为焦点堆栈张数的深度图。基于模糊度的方法则通过观察单张图片的模糊度优化计算深度，目前该方向上基于深度学习的工作也源于这两种思路，且仅需要稀疏的焦点堆栈。基于散焦的深度预测方法的一大优势在于其可以利用其光学性质进行模型迁移与自监督训练。然而现有的基于散焦的深度预测方法仍然利用了全焦点(All-in-Focus)图像作为深度学习的模型输入或者监督对象，但在实际应用中，由于相机镜头的光学性质，设备往往无法获得理想的全焦点图，其导致现有的工作在理论上的成功与在实际应用中的实现存在一定的距离。

发明内容

为至少部分解决现有技术中的基于散焦的深度预测方法依赖于全焦点图像作为深度学习的模型输入或者监督对象的技术问题，本发明提出一种焦点堆栈重建指导下的基于散焦的深度预测方法，该方法包括下列步骤：

进行数据处理，其中对颜色-深度数据集进行点扩散函数渲染以生成焦点堆栈数据集；

向神经网络中输入所述焦点堆栈数据集以生成预测深度和预测全焦点图像；

根据所述预测深度和所述预测全焦点图像生成重建焦点堆栈；以及

对所述预测深度、所述预测全焦点图像以及所述重建焦点堆栈进行自监督训练。

在本发明一个实施例中规定，所述焦点堆栈数据集包括训练数据集以及测试数据集。

在本发明一个实施例中规定，所述神经网络包括DAIF-Net卷积神经网络，所述DAIF-Net卷积神经网络包括多个U-Net编码器，其中所述DAIF-Net卷积神经网络被配置为通过最大值融合合并卷积神经网络各层的特征以作为残差连接输入所述U-Net解码器中。

在本发明一个实施例中规定，生成重建焦点堆栈包括下列步骤：