[发明专利]基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法

权利要求书

1.一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其特征在于，包括以下步骤：

步骤一：将内窥镜成像模式改为黑白模式，获取到黑白光下的内窥镜视频流，以帧间直方图差异删除曝光帧，以快速行进算法修复高光点；

步骤二：利用内窥镜成像模式为彩色时所采集到的视频流对RTGAN着色网络进行训练：

首先对采集到的彩色视频流进行拆帧，并进行步骤一中的预处理操作，包括曝光帧删除和高光点修复；将预处理后的彩色帧和彩色帧所对应的黑白帧作为RTGAN的输入训练模型，直到模型训练达到停止条件为止；

步骤三：所述着色网络RTGAN由生成器和判别器组成；生成器以残差模块级联的结构作为主干，引入跨步卷积学习自身的空间上采样；

步骤四：使用训练好的RTGAN中的生成器对步骤一中预处理后的黑白图像帧进行实时着色，并将着色后的彩色视频帧合成正常的手术视频流。

2.根据权利要求1所述的一种基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其特征在于：所述步骤一中图像预处理的方法，包括删除曝光帧和修复高光点的操作，具体方法如下：

(1)以帧间直方图差异删除曝光帧的步骤是：

在黑白图像序列中，取曝光开始的前一帧作为正常帧，计算该帧的亮度均值T，则T即为曝光阈值；在黑白图像序列中，计算其余帧的亮度均值X1、X2、X3、。。。Xn；若第i帧图像的亮度均值XiT，则算法判定该帧为过曝帧并将其丢弃，后采用其前一帧的复制帧来填补该帧；其中，曝光是否开始通过物理信号或算法计算得到；

(2)以快速行进算法修复高光点的步骤是：

设高光阈值为S，初始化一个与视频帧同大小的掩膜零矩阵M；以S为阈值，对图像中每一个像素点进行亮度划分，大于S的像素将其在M中对应位置的数值置为1，否则为0；经阈值分割得到掩膜M，掩膜M中数值为1的位置即为需要修复的高光区域；

设待修补像素为p，u(i)表示像素i的灰度值，规定B_e(p)为P周围一个大小为e的邻域，B_e(p)中像素的q对p的贡献u_q(p)定义为：

其中，表示q的梯度值，则待修复P的灰度值计算公式如下：

其中，B_e(p)为P的8邻域，权值w(p，q)则使用下式求得：

w(p，q)＝dir(p，q)·dsq(p，q)·lev(p，q)

W(*)表示权值函数，是用来限定邻域中各像素的贡献大小；dir(*)为方向因子；dst(*)为几何距离因子，lev(*)为水平集距离因子。

3.根据权利要求1所述的基于对抗神经网络RTGAN的内窥镜下曝光帧修复方法，其特征在于：所述步骤三中RTGAN网络中生成器的设计，具体方法如下：

生成器采用编解码器的结构，由三个下采样层、五个中间层和三个上采样层组成，上采样和下采样中采用跨步卷积；

(1)生成器中五个中间层的设计包括：

网络主体使用5个残差块组成，其定义为：

Y_out＝C(C(Y_in))+Y_in

其中,Y_in为当前残差块的输入，在第一个残差块中为输入层输出的卷积特征,在其余的四个残差块中为前一残差块的输出，C(·)为卷积操作,Y_out为残差块的输出结果；

每个残差块包含了两个3×3的卷积层，第一个卷积层后加入了批处理归一化和ReLu激活函数，将第二个卷积层的BN放在addition之前，避免由于BN层对该层的数据分布进行变换，更改原始输入，addition后加入了ReLu激活函数；然后对残差块进行级联，进一步加强图像的颜色细节信息，残差级联结构定义为：

R_out＝res_s(C_in)

其中,res₅(·)表示5层的残差块级联操作,C_in为输入层的输出结果，R_out为残差块级联的输出结果；

(2)上采样和下采样层的设计包括：

在网络的起始处利用边界反射对图像进行了张量填充，使网络的输入和输出具有相同的大小；在下采样层和上采样层所有的卷积层后都加入了批处理归一化BN和ReLu非线性激活函数；下采样层第一层使用了9×9的卷积核，其余两层下采样使用了3×3的卷积核，每层卷积层的输出特征表示为：

x_i＝H_i(x_i-1)i＝1，2，3

其中，H_i(·)表示Conv-ReLu运算；i表示第i个卷积层；x_i表示第i个卷积层的输出特征；

上采样层中，网络使用两个反卷积层，输出层使用tanh激活函数来保证输出的像素在[0,255]的范围内；

(3)RTGAN网络中辨别器采用resnet18网络，损失函数采用BCELoss。