[发明专利]实时腔镜视像增强处理方法和系统、存储介质

权利要求书

1.一种实时腔镜视像增强处理方法，其特征在于，该方法由电子设备执行，该方法包括：

获取腔镜系统在腔体内拍摄到的视频；

确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类；

采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；

将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频；

还包括：预先训练得到所述生成对抗网络；

其中，所述生成对抗网络的训练过程具体包括：

A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；

A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；

A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：

若是，则所述生成对抗网络的训练过程结束；

否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位；

所述卷积神经网络的数量为3个，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像；

对应的，所述对所述至少两帧去模糊图像进行融合处理，包括：

将所述第二去模糊图像对准所述第一去模糊图像生成两层的第一拼接图像；

将所述第三去模糊图像对准所述第一拼接图像生成三层的第二拼接图像；

将所述三层的第二拼接图像投影到全局坐标系中，得到三张投影图像；

采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。

2.根据权利要求1所述的方法，其特征在于，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：

采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；

采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。

3.根据权利要求1所述的方法，其特征在于，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：

采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；

采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。

4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括超分辨率卷积神经网络、高效亚像素卷积神经网络和基于统一网络的卷积神经网络中。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，包括：

采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；

将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。