[发明专利]基于多模态注意力模型的宫颈非典型病变诊断模型和装置

权利要求书

1.一种基于多模态注意力模型的宫颈非典型病变诊断装置，以宫颈样本对应的醋酸图和碘图作为输入，以该醋酸图和碘图产生非典型病变的概率作为输出，其特征在于，所述宫颈非典型病变诊断装置通过以下步骤获得：

1)对于同一宫颈样本的醋酸图和碘图，以宫颈样本对应的状态类型作为标签，形成训练数据；

2)依次对醋酸图和碘图进行数据增强和数据归一化处理；

3)使用两个ResNet-50网络作为第一网络模型和第二网络模型，将经步骤2)处理后的醋酸图和碘图分别输入第一网络模型和第二网络模型中，输出预测类别，并计算两个网络模型的Loss，选用Loss较小的网络模型作为掩码通道，另一个网络模型作为主通道；

4)针对作为掩码通道的ResNet-50网络中的每一层，将掩码通道中的特征图通过掩码生成模块生成主通道的注意力掩码图，与对应的主通道中的特征图进行融合，并传入主通道下一层，直至输出分类结果；

5)计算掩码通道和主通道分类结果的总体损失，并根据总体损失使用随机梯度下降法优化模型，直至收敛，训练好的第一网络模型、第二网络模型和掩码生成模块构成宫颈非典型病变诊断装置。

2.根据权利要求1所述的宫颈非典型病变诊断装置，其特征在于，步骤2)中，对醋酸图和碘图进行数据增强的步骤为：

将醋酸图和碘图的原始图像随机翻转后加入训练集；

随机对训练集中的图像进行裁剪，获得不同大小的图像块；

对图像块进行随机亮度调整、随机镜像翻转和随机颜色增强后，再将图像块缩放到512×512尺寸。

3.根据权利要求2所述的宫颈非典型病变诊断装置，其特征在于，所述步骤2)中，对经过数据增强处理后的醋酸图和碘图进行数据归一化处理的方法为：

针对醋酸图和碘图中512×512大小的图像块，每个像素减去像素的平均值后除以标准差，使图像数据中心化。

4.根据权利要求1所述的宫颈非典型病变诊断装置，其特征在于，步骤4)中，所述注意力掩码图的生成方法为：

4-1)对于掩码通道中的每个特征图C_i’，使用1×1卷积操作，将特征通道维度降到256；

4-2)将降维后的特征图传入卷积层，提取图像的全局特征；

4-3)使特征图通过若干个残差模块，增加感受野大小，从而提取更富的语义特征；

4-5)再次使用1×1卷积操作，使特征通道维度恢复到原始尺寸，形成注意力掩码图；

4-6)使用Sigmoid层将输出范围变为[0，1]。

5.根据权利要求4所述的宫颈非典型病变诊断装置，其特征在于，步骤4)中，生成的注意力掩码图与相应的主通道中的特征图进行融合的融合公式为：

A_i(x)＝(1+P_i)×C_i(x)

其中，A_i为融合后的特征图像，P_i为注意力掩码图，C_i为主通道中的特征图。

6.根据权利要求1所述的宫颈非典型病变诊断装置，其特征在于，步骤5)中，掩码通道和主通道分类结果的总体损失的计算公式为：

L＝(1-λ)L_m+λL_p

其中，L_m和L_p分别代表掩码通道和主通道的损失，λ为0.5～1的可调参数。

7.根据权利要求6所述的宫颈非典型病变诊断装置，其特征在于，所述的λ取值为0.75。