[发明专利]焦点堆栈重建指导下的基于散焦的深度预测方法及系统

权利要求书

1.一种焦点堆栈重建指导下的基于散焦的深度预测方法，其特征在于，包括下列步骤：

进行数据处理，其中对颜色-深度数据集进行点扩散函数渲染以生成焦点堆栈数据集；

向神经网络中输入所述焦点堆栈数据集以生成预测深度和预测全焦点图像；

根据所述预测深度和所述预测全焦点图像生成重建焦点堆栈；以及

对所述预测深度、所述预测全焦点图像以及所述重建焦点堆栈进行自监督训练。

2.根据权利要求1所述的深度预测方法，其特征在于，所述焦点堆栈数据集包括训练数据集以及测试数据集。

3.根据权利要求1所述的深度预测方法，其特征在于，所述神经网络包括DAIF-Net卷积神经网络，所述DAIF-Net卷积神经网络包括多个U-Net编码器，其中所述DAIF-Net卷积神经网络被配置为通过最大值融合合并卷积神经网络各层的特征以作为残差连接输入所述U-Net解码器中。

4.根据权利要求1所述的深度预测方法，其特征在于，生成重建焦点堆栈包括下列步骤：

使用薄透镜模型，根据所述焦点堆栈数据集中的焦平面距离以及所述预测深度计算散度图；以及

对所述散度图以及所述预测全焦点图像进行点扩散函数渲染以生成所述重建焦点堆栈。

5.根据权利要求4所述的深度预测方法，其特征在于，还包括：

基于所述散度图以及所述焦点堆栈数据集生成粗糙全焦点图像，并且对所述粗糙全焦点图像进行自监督训练。

6.根据权利要求5所述的深度预测方法，其特征在于，进行自监督训练包括优化所述重建焦点堆栈与所述焦点堆栈数据集之间的相似度和锐化程度、优化所述预测深度的平滑程度、优化所述预测全焦点图像的清晰度、优化所述预测全焦点图像与所述粗糙全焦点图像的相似度以及优化所述粗糙全焦点图像的清晰度。

7.一种焦点堆栈重建指导下的基于散焦的深度预测系统，其特征在于，运行权利要求1-6之一所述的深度预测方法，所述深度预测系统包括：

数据处理模块，其被配置为对颜色-深度数据集进行点扩散函数渲染以生成焦点堆栈数据集；以及

模型训练模块，其被配置为执行下列动作：

向神经网络中输入所述焦点堆栈数据集以生成预测深度和预测全焦点图像；

根据所述预测深度和所述预测全焦点图像生成重建焦点堆栈；以及

对所述预测深度、所述预测全焦点图像以及所述重建焦点堆栈进行自监督训练。

8.一种计算机系统，其特征在于，包括：

处理器，其被配置为执行机器可执行指令；以及

存储器，其上存储有机器可执行指令，所述机器可执行指令在被处理器执行时执行根据权利要求1-6之一所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行根据权利要求1-6之一所述的方法的步骤。