[发明专利]基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法

说明书

本发明为一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其克服了现有技术中存在的内窥镜手术过程中因环境密闭、可见光激光刀发出的光束功率高而导致的手术视频画面严重过曝的问题，本发明能够通过基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，完全消除激光手术视频流中存在的过曝现象。本发明包括以下步骤：(1)获取黑白光下的内镜视频流并拆帧；(2)对每帧图像进行预处理，包括删除曝光帧和修复高光点；(3)利用彩色视频帧训练对抗神经网络RTGAN；(4)利用训练好的对抗神经网络RTGAN对预处理后的帧进行实时着色；(5)将RTGAN还原后的彩色视频帧合成正常的手术视频流。

技术领域

本发明属于内窥镜成像技术领域，涉及一种基于对抗神经网络RTGAN的内 窥镜下曝光帧修复方法。

背景技术

随着内窥镜成像系统的不断发展，由传统的硬式内窥镜发展出了新式的软 式内窥镜，这使得内窥镜的应用场景进一步扩大、使用方式也更加灵活；与此 同时，激光技术被应用于内窥镜治疗中，并逐渐成为内窥镜治疗的重要手段之 一。在激光手术中，由于激光刀工作时会发出高能量可见光，使得内窥镜成像 画面出现严重的过曝现象，且软性内窥镜无法像硬式内窥镜一样安装滤光片， 因此，医生在对病人病灶进行激光时必然会出现一小段不可视的时间，这将是 导致手术发生意外的重要隐患之一。

现有的技术中也有对曝光图像进行检测和修复的方法，主要分为两种：基 于物理的方法和基于算法的方法。基于物理的方法通常根据图像中视野区域的 亮度信息自动调整内窥镜曝光参数，该方法通过一个反馈机制来调节内窥镜前 端镜头的物距和/或焦距，以使前端镜头获得的视野区域稳定，该方法看起来合 情合理，但在实践中这一反馈机制往往会产生较大的延迟，以至于其实时性较 差，且镜头自身不间断地调节也会给激光手术带来很多不稳定的因素；由于激 光手术中出现的曝光情况比较复杂，基于算法的方法利用手工设计的特征很难 准确地反应图像的实际曝光情况，且即使检测到的曝光帧也通常会丢弃或者进 行局部的修复，此类方法局限性较大，面临大面积过曝现象时修复结果不理想，且通常会因丢失了大量的过曝帧而导致视频卡顿。

发明内容

本发明的目的在于提供一种基于对抗神经网络RTGAN的内窥镜下曝光帧修 复方法，其克服了现有技术中存在的内窥镜手术过程中因环境密闭、可见光激 光刀发出的光束功率高而导致的手术视频画面严重过曝的问题，本发明能够通 过基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，完全消除激光手术视 频流中存在的过曝现象。

为实现上述目的，本发明采用的技术方案为：

一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其特征在于， 包括以下步骤：

步骤一：将内窥镜成像模式改为黑白模式，获取到黑白光下的内窥镜视频流， 以帧间直方图差异删除曝光帧，以快速行进算法修复高光点；

步骤二：利用内窥镜成像模式为彩色时所采集到的视频流对RTGAN着色网络 进行训练：

首先对采集到的彩色视频流进行拆帧，并进行步骤一中的预处理操作，包括 曝光帧删除和高光点修复；将预处理后的彩色帧和彩色帧所对应的黑白帧作为 RTGAN的输入训练模型，直到模型训练达到停止条件为止；

步骤三：所述着色网络RTGAN由生成器和判别器组成；生成器以残差模块级 联的结构作为主干，引入跨步卷积学习自身的空间上采样；

步骤四：使用训练好的RTGAN中的生成器对步骤一中预处理后的黑白图像帧 进行实时着色，并将着色后的彩色视频帧合成正常的手术视频流。

所述步骤一中图像预处理的方法，包括删除曝光帧和修复高光点的操作， 具体方法如下：

(1)以帧间直方图差异删除曝光帧的步骤是：