[发明专利]一种内窥镜息肉图像分割方法、装置及存储介质

说明书

本发明公开了一种内窥镜息肉图像分割方法、装置及存储介质，方法包括：获取批量内窥镜息肉图像并标注其息肉所在位置作为之后模型训练和参数优化的真实mask；基于位置动态卷积块和Super‑Transformer构建息肉图像分割学习模型；通过所获取图像对之前构建的分割模型进行模型训练和参数优化，得到优化模型；获取待测图像并输入到息肉图像分割优化模型，得到分割图像，确定息肉所在位置。本发明通过位置动态卷积模块进行初级特征提取，可以有效地捕获内窥镜息肉图像的整体特征，之后通过Super‑Transformer模块进一步提取内窥镜息肉图像的高级特征，并通过输出头从最终的高级特征图中得到最终的分割结果。

技术领域

本发明涉及医学图像处理技术领域，具体涉及一种内窥镜息肉图像分割方法、装置及存储介质。

背景技术

内窥镜技术是医学中重要的检测人体身体内部疾病的方法，在诊断肠胃病中使用很多。内窥胃肠镜就是将内镜从人的鼻腔或口腔中伸入并到达人体的肠胃部，通过镜头将人体肠胃内部的一些图像显示在计算机中，并根据所呈现的图像来查找患者息肉所在的位置，进而再根据息肉的情况来诊断患者所患的疾病。

然而为了能够准确诊断患者的疾病，就需要精准定位分割患者的息肉，一个准确度高的息肉分割是对内窥镜息肉图像临床指标进行定量分析的前提，而目前基本上都是由临床医生亲自对息肉图像主观地进行定位和分割。而基于内窥镜息肉图像的复杂性，临床医生往往很难精准分割息肉，操作繁琐，效率不高。因此，一个高效、准确的息肉分割方法对临床诊断有着非常重要的价值。

发明内容

为了解决上述技术问题，本发明提出的一种内窥镜息肉图像分割方法，可得到准确度高的息肉分割图像。

为实现上述目的，本发明采用了以下技术方案：

S1、获取批量内窥镜息肉图像并使用labelme工具标注其息肉所在位置作为之后模型训练和参数优化的真实mask；

S2、首先构建位置动态卷积模块，原始息肉图像输入后通过一层3*3的普通卷积层和一层位置动态卷积层来进行初级特征提取，并初步突出息肉图像的位置特征，然后构建Super-Transformer模块，将得到的最终的初级特征图输入到Super-Transformer模块，该模块首先将输入的初级特征图分为4*4的patches，并根据初级特征图反映的位置特征为每个patch赋予不同的Super权重，并利用Super权重进行Super multi-head self-attention机制得计算得到高级特征图，并且更加突出息肉的分割位置特征，重复多次运算后得到最终的高级特征图，最后通过一层前馈神经网络全连接层获取最终的分割结果；

S3、通过所获取图像对之前所构建的息肉图像分割模型进行训练并得到预测分割图像，然后参考标注的真实mask计算BCE loss和Super loss，并使用批梯度下降法进行参数优化，进行多轮训练和优化后得到最终的息肉图像分割模型；

S4、获得待测图像并输入到息肉图像分割优化模型，得到分割图像，确定息肉所在位置。

进一步，步骤S1其具体包括：

1.1）从各个医院中收集内窥镜各类息肉的图像以及视频，如果为视频数据，可通过一些工具如FFmpeg对视频数据进行分帧得到大量的图片数据；

1.2）将所得到的图片数据通过随机角度旋转、水平或垂直翻转、随机方向随机距离的位移、饱和度的调整等方法对数据进行增广；

1.3）将增广后的息肉图像随机裁剪成512*512大小；

1.4）通过Python中的labelme工具标注每个图片中息肉所在的区域，并打好标签生成json文件得到最终的息肉真实mask。

进一步，步骤S2这一步骤，其具体包括：