[发明专利]一种内窥镜息肉图像分割方法、装置及存储介质

权利要求书

1.一种内窥镜息肉图像分割方法，其特征在于，包括以下步骤，

获取待测图像并输入到事先构建的息肉图像分割模型，得到分割图像，确定息肉所在位置；

其中，所述息肉图像分割模型构建步骤如下：

S1、获取批量内窥镜息肉图像并使用labelme工具标注其息肉所在位置作为之后模型训练和参数优化的真实mask；

S2、首先构建位置动态卷积模块，原始息肉图像输入后通过一层3*3的普通卷积层和一层位置动态卷积层来进行初级特征提取，并初步突出息肉图像的位置特征，然后构建Super-Transformer模块，将得到的最终的初级特征图输入到Super-Transformer模块，Super-Transformer模块首先将输入的初级特征图分为4*4的patches，并根据初级特征图反映的位置特征为每个patch赋予不同的Super权重，并利用Super权重进行Super multi-head self-attention机制计算得到高级特征图，并且更加突出息肉的分割位置特征，重复多次运算后得到最终的高级特征图，最后通过一层前馈神经网络全连接层获取最终的分割结果，从而构建初步息肉图像分割模型；

S3、通过所获取图像对步骤S2所构建的初步息肉图像分割模型进行训练并得到预测分割图像，然后参考标注的真实mask计算BCE loss和Super loss，并使用批梯度下降法进行参数优化，进行多轮训练和优化后得到息肉图像分割优化模型；

S4、获得待测图像并输入到息肉图像分割优化模型，得到分割图像，确定息肉所在位置；

步骤S2具体包括以下分步骤：

S2.1、使用位置动态卷积模块对息肉图像进行初级特征提取，并对息肉初始图像进行下采样减小分辨率；在位置动态卷积模块中，运用多层卷积块来逐步提取息肉图像的初级特征；

输入的图像裁剪为512*512大小，首先将图片通过一个3*3的普通卷积初步提取息肉图像特征，然后将生成的特征图通过一个位置动态卷积来进一步获取息肉图像的初级特征即息肉图像的位置特征；

所述位置动态卷积在原有的普通卷积操作的基础上增添位置信息，通过息肉图像中不同的位置以及息肉在图像中可能出现的位置对不同位置设定一个位置偏置值，若判断某个像素所对应为息肉类别的概率越大，则该位置偏置值设定越高，在做卷积的过程中，对于不同位置，在原来公共的卷积核权重的基础上增加一个位置偏置值；

生成一层息肉图像的初级特征图，对生成的初级特征图进行步长为2的下采样和Sigmoid非线性激活，然后再通过一层卷积块，在通过多层卷积块之后，将会得到最终的息肉图像的初级特征图；

S2.2、将位置动态卷积模块最终得到的息肉图像的初级特征图输入至Super-Transformer模块中，在Super-Transformer模块中首先构建Position embedding模块，在该模块中，首先将输入的初级特征图划分为4*4的patches，假设输入的初级特征图的张量维度为W*H*3，则划分后，对于每个patch，其张量维度为其中C为每个patch的通道数；

将宽和高的维度展平，变为然后为每个patch加上位置信息，并根据之前初级特征图的结果，对每个patch出现息肉的比例和概率赋予不同的Super权重；然后将所有patch输入到encoder层中，在该层中将会使用Super multi-head self-attention为各patch进行特征值的计算；将输入encoder的patch张量记为x₁，x₂，…，x₁₆，首先通过一个inputembedding层将x₁，x₂，…，x₁₆映射到一个更高的维度上得到向量a₁，a₂，…，a₁₆，对于Supermulti-head self-attention，首先将self-attention机制中有原来的三个参数query、key和value变为五个参数super、query、key、value和bias，其中query、key和value的含义和原来的self-attention一样，super的含义为根据不同的Super权重为每个patch赋予不同重要性的超级值，bias代表偏置；在该机制中将会生成五个共享矩阵W^s、W^q、W^k、W^v和W^b，将向量a_i分别与这五个矩阵相乘得到对应的sⁱ、qⁱ、kⁱ、vⁱ和bⁱ，即：

sⁱ＝λa_iW^s，qⁱ＝a_iW^Q，kⁱ＝a_iW^K，vⁱ＝a_iW^V，bⁱ＝a_iW^B

其中i为向量对应patch的编号值1-16，λ表示Super权重，范围在0-1之间；然后将这些值对应拼接成矩阵，将得到五个矩阵S、Q、K、V、B，然后进行注意力机制的运算，进行以下公式运算：

其中d_k为矩阵K的维度，然后通过结果所对应的行向量得到对应patch的最终值；该机制进行相对应的multi-head操作，将sⁱ、qⁱ、kⁱ、vⁱ和bⁱ分为s^ij、q^ij、k^ij、v^ij和b^ij，其中i为输入变量的编号，j为每个输入变量再次分出来变量的编号，然后将j相同的变量归为同一个head中，然后在每个head中分别计算出对应的输出，然后将i值相等的输出进行拼接操作得到一系列的矩阵，将这些矩阵最后和输出矩阵W^O相乘得到最终的输出值；之后通过decoder层解码将encoder层的输出值转化为高级特征图，在decoder层中，输入为encoder层中对应每个patch的输出向量，输出为每个patch按一定位置顺序拼合而成的高级特征图，过程同样使用Super multi-head self-attention机制；重复进行多次encoder+decoder操作，得到最终的高级特征图，最后通过输出头从高级特征图中获取最终的分割结果，该输出头由一层前馈神经网络全连接组成，对于每个像素的最终结果，其输出公式为：

其中X为每个像素由不同通道组成的向量，x_i表示该像素在第i个通道所对应的值，C为最终高级特征图的通道数，W_i为每个通道对应的权重，B为网络的偏置值，通过计算完最Sigmoid非线性激活函数后，大于0.5的为息肉区域，小于0.5的为背景区域，由此得到最终分割结果；

步骤S3其具体包括：

S3.1、通过获取的图像对所构建的学习模型进行参数训练；

S3.2、训练完模型后将获取的图像输入到训练后的学习模型，得出预测分割图像；

S3.3、将这些预测分割图像与真实分割的mask图像进行对比，并引入损失函数进行loss计算，其公式为：

L＝L_BCE+L_Super

其中，L_BCE是二值交叉熵损失函数；L_Super是针对Super-Transformer模块中的Super权重，针对非息肉像素点的自定义的一个损失函数；N为图像像素点的个数，y_i为输入实例x_i的真实类别，为预测输入实例x_i属于分割类别为息肉像素的概率，对所有图像的对数损失表示对每个图像对数损失的平均值；

其中，M为分割结果为非息肉的像素点的个数，λ_i为对应像素点所分配到的Super权重，计算出loss以后，利用批梯度下降法来息肉图像分割优化模型参数；

S3.4、重复优化步骤，得到息肉图像分割优化模型。