[发明专利]一种息肉影像语义分割方法及装置

说明书

本发明公开了一种息肉影像语义分割方法及装置。该装置包括采集模块、分割模块和显示模块。使用方法为：采集模块采集肠镜视频，转换为图像帧。分割模块对转换后的图像进行预处理，去除反光的部分，然后输入由编码器、中间层、解码器组成的Ext‑HarDNet网络，抛弃图像的浅层特征，提取深层特征对应的注意力特征，经过特征融合后进行双线性采样。得到的分割结果由显示模块展示。本方法可以克服主流的去反光方法导致的图片压缩、模块问题，使用低流量的HarDNet框架构建主干网络，可以提高速度，满足实时性。中间层可以加强全局特征联系。解码器的融合方法可以提升有效感受野的比例。最终实现对息肉图像的精准、快速分割。

技术领域

本发明属于图像处理技术领域，具体涉及一种息肉影像语义分割方法及装置。

背景技术

结直肠癌(CRC)是常见的消化道肿瘤之一，发病率仅次于肺癌和前列腺癌。结肠镜下的息肉检测是结直肠癌的重要筛查方法，通过对可疑病变部位进行病理学活组织检查，使医生能够在结直肠息肉发展为结直肠癌之前将其切除。实时快速的肠镜人眼检测容易导致误诊、漏诊的发生，精细的反复排查检测又会增加患者的不适。因此，一种能够在早期发现所有潜在息肉的自动、精确的息肉分割方法对预防结直肠癌具有重要意义。

根据大肠的位置和特点，可以分为回盲部、升结肠、横结肠、降结肠、乙状结肠、直肠。除降结肠外，直肠、乙状结肠、横结肠、肝曲、升结肠以及回盲部本身即具有许多不平整的褶皱，导致不容易对息肉与正常凸起肉进行区分。其次由于肠镜与人体肠内粘液产生的反光，也会对息肉特征的判断产生极大的干扰。而且同一类型的息肉存在不同的大小、颜色与质地，息肉和周围粘膜的边界也较为模糊，缺乏精确分割所需的强烈对比度。这些影响都对息肉图像分割的精准分割都带来了很大的挑战。除此以外，在分割过程中，还需要注意：

1、与CT检测时可以针对同一张图片反复检测不同，由于息肉检测为肠镜下的实时检测，即视频检测，为了减少检测次数与检测时长，需要保证检测过程的高FPS，因此在设计语义分割网络时需要提高计算效率。

2、在分割过程中，错误标记为背景的息肉像素数目相比于被错误分割为息肉区域的背景像素数目更加重要，因为息肉语义分割的目的是提醒医生注意那些可能会被遗漏的息肉，并非要准确得到息肉的大小信息。同时，将正常凸起肉识别为息肉，只需要医生进一步检验、排查，所以未识别的错误样本中相比于识别错误的错误样本而言更加严重。因此相对于敏感度指标，可以相对牺牲精确度。

3、由于各医院医疗器械配备情况差异较大，医院内窥镜的款式与版本不尽相同。因此还要保证息肉分割网络模型具有一定的泛化能力。

发明内容

针对现有技术的不足，本发明提出了一种息肉影像语义分割方法及装置，采用分步掩模法去除图像的反光部分，基于HarDNet网络，引入External Attention，构建了级联式的编码器-解码器网络提取图像特征，通过PPM进行全局特征融合，提升感受野，实现对息肉影像的快速、精确分割。

一种息肉影像语义分割方法，该方法不能获得疾病诊断结果，且不以获得健康状况为直接目标，具体包括以下步骤：

步骤一、数据获取

将拍摄的肠镜视频转换为息肉图像，作为样本Image。制作样本Image对应的单通道标签Label。将样本Image与标签Label一一对应后，按比例划分为训练集和验证集。

作为优选，训练集和验证集的数据比例为4∶1。

步骤二、数据预处理

使用分步掩模法对训练集和验证集中的样本Image进行预处理：提取图像中的高亮区域，然后进行插值修复，将修复后的高亮区域与原图像中不反光的部分相或，得到去反光的样本Image。

所述分步掩模法具体包括以下步骤：