[发明专利]基于交互信息引导的深度学习方法的医学图像分割和定量分析方法、计算机设备、存储介质

权利要求书

1.基于交互信息引导的深度学习方法与医学图像分割和定量分析方法，其特征在于，包括：

(1)构建深度卷积神经网络，并直接利用已有的CNV标注数据进行训练，得到自动分割模型；所述深度卷积神经网络是自动分割网络SAC-Net，是一种完全对称的编码-解码架构的语义分割神经网络，在编码部分采用ResNet34，并移除掉ResNet34中的全连接层；

所述自动分割网络SAC-Net中，编码部分和解码部分之间通过自注意力模块A连接，在编码部分和解码部分对称即分辨率相同的特征图之间通过若干个注意力跳跃连接模块AC连接；

对自动分割网络SAC-Net训练时，先对浅层特征做非线性变换，降低空间每个位置的维数即特征图的通道数量，并计算注意力权重矩阵，与浅层特征图进行加权，得到变换后的特征图；再将变换后的特征图与深层特征图进行相加，通过注意力跳跃连接模块AC实现跳跃连接；

(2)在训练集上结合模拟的交互信息，将网络输入特征图增加一个通道用来表示交互信息，使用相同的CNV掩码进行微调训练得到模型A；

(3)在测试或使用时，提供OCT图像，利用自动分割模型对输入的OCT图像进行自动检测、分割CNV，若对分割效果满意，则停止，否则，允许交互地点出CNV区域边界的最上、最左、最右3个点，作为交互信息输入模型A，得到更准确的结果。

2.根据权利要求1所述的基于交互信息引导的深度学习方法与医学图像分割和定量分析方法，其特征在于，所述自动分割网络SAC-Net，具体实现过程包括：

①设浅层特征图为X∈R^C×H×W，深层特征图为Y∈R^C×H×W，R是指数学里的实数，C，H，W是指特征图X的维度，C是指通道数，H是指高，W是指宽，R^C×H×W表示维度为C×H×W的三阶张量实数空间；通过注意力跳跃连接模块AC利用1×1卷积核将X映射为Z＝f(X，W；k)∈R^k×H×W；

函数f表示用k个1×1卷积核与浅层特征图X进行卷积运算；Z表示1×1卷积的运算结果；

②利用Z基于特征块计算每个点与其余所有点的相似性，相似性度量采用余弦距离；具体是指：注意力跳跃连接模块AC将Z中每个位置p提取以p为中心的3×3特征块，共H*W个位置，每个位置属于k维空间；提取的特征块的维数是3×3×k；位置p是指张量Z的空间位置，Z有k个通道，每个通道都是H×W的大小，位置p就是H×W个位置中的任意一个，每个位置都是k维的向量，对应于k个通道；

根据余弦距离公式，特征块i与特征块j的相似性s_ij为：其中，Z_i表示中心位于特征块i的3×3图像块，Z_j表示中心位于特征块j的3×3图像块；

通过每个特征块与原特征图Z做卷积运算来计算特征块相互之间的距离；

③计算连接特征图；

根据Z计算得到相似性矩阵S＝(s_ij)_N×N，N＝H*W；S的第i行代表第i个位置与其余位置的相似性；

对S的每一行进行softmax归一化，即：是指矩阵S的第i行第j列个元素归一化的结果；

④计算连接特征图D＝reshape(X；N，C)，

其中，reshape(X；N，C)∈R^N×C表示将特征张量X∈R^C×H×W重新组织元素为矩阵，每一行表示一个位置的特征；SD表示相似性矩阵S与矩阵D的矩阵乘积；

通过计算的公式，每个位置的特征变成其余所有位置的特征的加权和；

⑤将连接特征图与深层特征图Y进行相加，从而得到位置更准确的分割结果。

3.根据权利要求1所述的基于交互信息引导的深度学习方法与医学图像分割和定量分析方法，其特征在于，通过每个特征块与原特征图Z做卷积运算来计算特征块相互之间的距离，是指：特征块i作为卷积核，与原特征图Z做卷积，通过一次卷积计算得到特征块i与其余特征块之间的距离；k＝11。