[发明专利]基于多模态注意力模型的宫颈非典型病变诊断模型和装置

说明书

本发明公开了一种基于多模态注意力模型的宫颈非典型病变诊断模型和装置，属于医疗人工智能领域，首先获取患者宫颈醋酸图和碘图，将该患者的病级别划分为正常、LSIL、HSIL三类，使用该类别作为对应醋酸图和碘图的标签，形成训练数据。进行数据预处理后，传入多模态融合模型，对模型中学习到的多层特征图分别进行融合，融合时，引入注意力机制，选择分类效果好的模态，从其特征图中产生辅助注意力信息，应用于效果较差的模态中的特征图，逐层进行融合操作，最终输出图像属于三种类别的概率，重复上述过程对模型迭代训练直至收敛。之后，将需要诊断病变类别的图像输入训练好的模型，使用上述特征融合方法，输出对应预测结果，辅助医生诊断。

技术领域

本发明涉及医疗人工智能领域，具体地说，涉及一种基于多模态注意力模型的宫颈非典型病变诊断模型和装置。

背景技术

宫颈癌是目前威胁女性健康的主要疾病，在全世界范围内也是导致女性死亡的第二大癌症，严重破坏患者的性生活并影响生活质量。我国每年约有15万新发病例，约10万妇女死于宫颈癌。

通过检测宫颈鳞状上皮内病变(cervical intraepithelial neoplasia，CIN)，可以帮助患者和医生预防宫颈癌，在医学上，CIN可被划分为两组：低度鳞状上皮内病变(low-grade squamous intraepithelial lesion，LSIL)以及高度鳞状上皮内病变(high-gradesquamous intraepithelial lesion，HSIL)。在临床实践中，筛查的一个重要工作是将HSIL与正常LSIL区分开，因为大部分(约60％)LSIL患者会逐渐恢复正常，而HSIL则需要进一步治疗。

临床追踪观察显示，宫颈癌从病变初期发展为癌变大概需要10年时间，并不像其他疾病那样发展的非常迅速。因此宫颈癌的预防和早期诊断，有利于提高患者生存率，具有重要的临床意义。阴道镜检查是一种常用的宫颈癌筛查方法：将5％的乙酸和碘溶液作用于宫颈上皮后，使用仪器拍摄受试宫颈图像，获得醋酸图和碘图。柱状上皮在醋酸作用下肿胀微白呈葡萄状，鳞状上皮色泽微微发白而无葡萄状改变，以此来鉴别鳞状上皮和柱状上皮。碘溶液涂抹后原始鳞状上皮染色呈深棕色，柱状上皮不染色，化生的鳞状上皮则根据化生的成熟程度不同而显示出染色的深浅不一，据此明确病变部位及范围。碘试验阴性区域(不着色区)为可疑病变部位。

上述检测图像若由人工判别，需要医生拥有较高的专业知识和临床经验，且长时间的工作也会造成医生判断准确率的下降。因此，能否设计出一种准确对宫颈细胞进行病变评级的自动阅片系统，就成了当前亟待解决的问题。

为了充分利用两种类型的图像(即两种模态)中的病变信息，可以使用多模态网络模型对宫颈非典型病变诊断的问题进行建模。识别和分析具有不同模态的病变是医学图像分析中的一大挑战。一个简单的多模态融合方案是在图像级融合多类型的数据。它将多个原始图像在颜色通道维度拼接为3D张量，并将张量应用于卷积神经网络，用卷积核来学习多模态特征。然而，这种简单的融合方式会将图像中的特征破坏，导致网络学习到的特征混乱，同时该方法的性能也不够稳定，并且会显著降低训练样本的数量。

发明内容

本发明的目的为提供一种基于多模态注意力模型的宫颈非典型病变诊断模型和利用该模型进行宫颈非典型病变诊断的装置，宫颈非典型病变诊断模型使用了一种基于注意力机制的层级间特征图融合模型，输入患者宫颈的醋酸和碘溶液图像，预测其宫颈产生非典型病变的概率，对医生提供辅助诊断建议，从而提高患者存活率。

为了实现上述目的，本发明提供的一种基于多模态注意力模型的宫颈非典型病变诊断模型，以宫颈样本对应的醋酸图和碘图作为输入，以该醋酸图和碘图产生非典型病变的概率作为输出，宫颈非典型病变诊断模型通过以下步骤获得：

1)对于同一宫颈样本的醋酸图和碘图，以宫颈样本对应的状态类型作为标签，形成训练数据；

2)依次对醋酸图和碘图进行数据增强和数据归一化处理；