[发明专利]基于修复和选择性增强的胃镜图像分析系统、方法及设备

权利要求书

1.一种基于修复和选择性增强的胃镜图像分析系统，其特征在于，所述系统包括：图像获取模块、预处理模块、反光处理模块、图像对抗合成、选择性增强模块和图像识别模块；

所述图像获取模块，配置为获取窄带成像的胃镜图像，并作为待测图像；

所述预处理模块，配置为基于所述待测图像，通过大津阈值法、轮廓线检测方法获得仅包含胃部黏膜的待测图像；

所述反光处理模块，配置为基于所述仅包含胃部黏膜的待测图像，通过反光检测、图像修复与高斯模糊和加权叠加，获得无反光的待测图像；

所述反光处理模块，包括反光检测单元、反光修复单元与高斯模糊单元和加权叠加单元；

所述反光检测单元，配置为通过颜色平衡自适应阈值来检测所述仅包含胃部黏膜的待测图像I_ori中的高光部分；

将待测图像转换为灰度图像：

Gray＝0.2989*R+0.5870*G+0.1140*B，

其中，R是待测图像I_ori的红色通道，G是待测图像I_ori的绿色通道，B是待测图像I_ori的蓝色通道，Gray是待测图像I_ori对应的灰度图像；

分别计算蓝色通道的图像强度与灰度图像的强度的第95个百分位之比，和绿色通道的图像强度与灰度图像的强度的第95个百分位之比，获得反光检测的阈值：

将所述待测图像I_ori中满足任一反光点条件的像素点n设置为反光点：

反光点条件一：G(n)T·R_g-gray；反光点条件二：B(n)T·R_b-gray；反光点条件三：R(n)T；其中，G(n)表示待测图像在绿色通道上像素点n的像素值，B(n)表示待测图像在蓝色通道上像素点n的像素值，R(n)表示待测图像在红色通道上像素点n的像素值，T为超参数；将待测图像的设置为反光点的像素设置为0，其余像素设置为1，获得待测图像I_ori的反光区域的掩膜M_s；

所述反光修复单元，配置为通过所述反光区域的掩膜，获取反光区域，基于反光区域周围的像素平均值对反光点进行填充，获得被填充的待测图像I_p；

所述高斯模糊单元，通过高斯卷积核对所述被填充的待测图像I_p进行高斯模糊得到平滑图像I_s：

I_s＝F_guassin*I_p其中，F_guassin表示高斯模糊；

所述加权叠加单元，配置为对所述反光区域的掩膜进行均值滤波计算平滑图像权重w，然后将填充前的待测图像I_ori及对应的平滑图像进行加权求和获得无反光的待测图像：

w＝M_s*F_mean

I_inpainted＝w·I_s+(1-w)·I_ori

其中，F_guassin为高斯卷积核，F_mean为均值滤波，I_s为平滑图像，I_ori为待测图像，w为平滑图像的权重；

所述图像对抗合成和选择性增强模块，配置为基于所述无反光的待测图像，通过训练好的生成式对抗网络生成逼真合成图像；

所述图像对抗合成和选择性增强模块，具体为，将所述无反光的待测图像和噪声输入生成式对抗网络获得合成图像：

其中，表示真实样本和生成样本的差异程度，G表示生成器，D表示判别器，(x，y)表示真实图像及其标签，(z，y)表示随机噪声及其标签，E表示概率分布的期望，x～P_data表示真实数据x服从P_data分布，z～N表示噪声服从均匀分布；基于所述合成图像，计算合成图像与无反光的待测图像的特征质心的归一化欧式距离D_f，采用蒙特卡洛随机失活方法运行K次预训练网络中的特征提取网络：

其中，H_l×W_l表示特征提取网络的尺寸，x表示合成图像，c_i表示第i类的质心，表示第k个特征提取网络l层的归一化激活，K表示特征提取网络总运行次数；

所述无反光的待测图像的特征质心c_i的计算方法为：

其中，表示特征提取网络第l层的激活，L表示特征网络共有L层，Ni表示第i类训练样本的数量，x_j表示第j个样本；

选取欧氏距离D_f小于预设的逼真阈值的图像作为逼真合成图像；

所述图像识别模块，包括概率预测单元和区域显示单元；

所述概率预测单元，基于所述逼真合成图像，通过训练好的胃镜图像识别网络，获得待测图像的早期胃癌概率；

所述区域显示单元，基于所述逼真合成图像和所述待测图像的胃癌概率，通过基于梯度加权类激活映射方法获取疑似早期胃癌的区域图像。