[发明专利]基于多模态注意力模型的宫颈非典型病变诊断模型和装置

摘要

本发明公开了一种基于多模态注意力模型的宫颈非典型病变诊断模型和装置，属于医疗人工智能领域，首先获取患者宫颈醋酸图和碘图，将该患者的病级别划分为正常、LSIL、HSIL三类，使用该类别作为对应醋酸图和碘图的标签，形成训练数据。进行数据预处理后，传入多模态融合模型，对模型中学习到的多层特征图分别进行融合，融合时，引入注意力机制，选择分类效果好的模态，从其特征图中产生辅助注意力信息，应用于效果较差的模态中的特征图，逐层进行融合操作，最终输出图像属于三种类别的概率，重复上述过程对模型迭代训练直至收敛。之后，将需要诊断病变类别的图像输入训练好的模型，使用上述特征融合方法，输出对应预测结果，辅助医生诊断。

主权项

1.一种基于多模态注意力模型的宫颈非典型病变诊断模型，以宫颈样本对应的醋酸图和碘图作为输入，以该醋酸图和碘图产生非典型病变的概率作为输出，其特征在于，所述宫颈非典型病变诊断模型通过以下步骤获得：1)对于同一宫颈样本的醋酸图和碘图，以宫颈样本对应的状态类型作为标签，形成训练数据；2)依次对醋酸图和碘图进行数据增强和数据归一化处理；3)使用两个ResNet‑50网络作为第一网络模型和第二网络模型，将经步骤2)处理后的醋酸图和碘图分别输入第一网络模型和第二网络模型中，输出预测类别，并计算两个网络模型的Loss，选用Loss较小的网络模型作为掩码通道，另一个网络模型作为主通道；4)针对作为掩码通道的ResNet‑50网络中的每一层，将掩码通道中的特征图通过掩码生成模块生成主通道的注意力掩码图，与对应的主通道中的特征图进行融合，并传入主通道下一层，直至输出分类结果；5)计算掩码通道和主通道分类结果的总体损失，并根据总体损失使用随机梯度下降法优化模型，直至收敛，训练好的第一网络模型、第二网络模型和掩码生成模块构成宫颈非典型病变诊断模型。