[发明专利]面向手术图像去烟雾的深度学习方法

说明书

本发明提出一种面向手术图像去烟雾的深度学习方法，有效提高手术环境视野的可见性。本方法提出将去烟雾任务划分成合成数据全监督去烟雾和真实数据自监督去烟雾，如图1所示，面向手术图像去烟雾的深度学习方法流程图，利用U‑Net结构分别设计全监督去烟雾网络和自监督去烟雾网络。首先，构建全监督学习模型采用合成数据集进行预训练，预测去烟雾后图像J_s、透射率t_s和烟幕特征图F并获得预训练模型。然后，利用预训练模型对真实带烟雾图像进行自监督学习，实现网络优化。该方法能够准确估计烟雾模型，实现对真实手术图像的去烟雾，完整恢复图像细节。

技术领域

本发明涉及一种面向手术图像去烟雾的深度学习方法，属于计算机视觉和医学图像处理领域。

背景技术

随着计算机技术的发展，计算机图像处理技术在医学领域应用性不断发展，这为临床医学提供了一种全新的技术支持，运用计算机图像处理方法解决临床医学研究具有重要的意义。在临床微创手术过程中，通常需要借助腹腔镜镜头对病灶区域及周围组织进行拍摄观察，腹腔镜镜头拍摄的画面很容易产生由于病人体内与体外温差、病变组织的烧制等原因所导致的烟雾遮挡的情况。因此，我们提出了面向手术图像去烟雾的深度学习方法，该算法能够去除手术图像中的烟雾，有效提高手术环境视野的可见性。

目前针对手术图像去烟雾的方法主要包括基于大气模型和深度学习去烟雾方法。基于大气模型去烟雾方法利用大气散射模型建模，将自然图像去烟雾方法应用于腹腔镜手术图像去烟雾，该类方法针对镜头起雾引起的手术视野受阻有较好恢复效果，但对于超声刀、电刀设备对病变组织烧制产生的浓烟效果不明显。深度学习方法在医学图像分析方面已经展现出先进性，通过深度学习方式求解大气散射模型也被提出，此方法使得腹腔镜手术图像去烟雾效果得到提升。但是由于手术视频资源匮乏以及数据集整理工作繁琐等问题，导致图像处理结果缺乏真实标签，去烟雾效果差。

因此，本发明提出一种面向手术图像去烟雾的深度学习方法，主要包括全监督学习模块和自监督学习模块。首先，构建全监督学习模型采用合成数据集进行预训练，学习去烟雾后图像J_s、透射率t_s和烟幕特征图F，并获得预训练模型。然后，利用预训练模型对真实带烟雾图像进行自监督学习，实现网络微调和优化。该方法能够准确估计烟雾模型，实现对真实手术图像的去烟雾，完整恢复图像细节，这为医学研究提供的一种较为先进的临床诊疗辅助手段。

发明内容

本发明的目的是设计一种面向手术图像去烟雾的深度学习方法，有效地提高手术环境视野的可见性。

为了实现上述目的，本方法首先提出一种面向手术图像去烟雾的深度学习方法，主要包括全监督学习模块和自监督学习模块，全监督学习模型采用合成数据集进行预训练，然后利用预训练模型对真实带烟雾图像进行自监督学习，实现网络微调和优化。

本发明包括如下步骤：

(1)截取X个手术视频片段，将其划分为清晰无烟烟雾视频序列V_{1_clear}和有烟烟雾视频序列V_{2_hazy}，每个视频序列选取N帧图像，对V_{1_clear}数据集进行加烟雾处理，设置所加烟烟雾的浓度值α＝{0.25，0.5，0.75，1}，得到V_{1_hazy}数据集含有4种不同烟烟雾浓度的图像，将V_{1_hazy}标记为“0”，清晰无烟烟雾的标签V_{1_clear}标记为“1”；

(2)将数据集V_{1_hazy}和V_{2_hazy}按照P：1-P(P∈(0，1))划分训练集和测试集；

(3)构建全监督去烟雾模型和自监督去烟雾模型分别训练V_{1_hazy}和V_{2_hazy}；