[发明专利]基于文本和图片的双模态胃部疾病分类方法及装置

说明书

本申请涉及一种基于文本和图片的双模态胃部疾病分类方法及装置，属于医学文本和图像双模态智能处理技术领域，该方法包括：将病历报告输入预先训练的文本提取网络，得到病历报告的文本特征向量；将胃镜图片输入预先训练的图片提取网络，得到胃镜图片的图片特征向量；将文本特征向量和图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果；可以解决人工诊断胃部疾病的效率较低的问题；实现自动地对胃部疾病进行分类，提高胃部疾病诊断效果。另外，通过结合文本特征向量和图片特征向量进行胃部疾病分类，相较于单独使用文本或者图片来说，具有更高的分类准确性。

【技术领域】

本申请涉及一种基于文本和图片的双模态胃部疾病分类方法及装置，属于医学文本和图像双模态智能处理技术领域。

【背景技术】

胃癌是一种起源于胃黏膜上皮的恶性肿瘤，在我国的各类恶性肿瘤中发病率处于首位。由于胃镜技术在胃癌诊断方面效果显著，已被推荐为胃癌的主要诊断方法。

具体来说胃镜检查，可以直接探及胃内的病变组织区域作出相应的诊断，在胃镜下可以做组织活检对早期的胃癌癌前疾病或者是癌前病变的诊断及鉴别良性恶性溃疡都有重要作用。

但是由于人为因素例如医生的经验水平不一致，或者疏忽等特殊特殊情况会直接影响最后的胃癌诊断情况，同时人眼观察胃镜图片也会耗费大量的时间。

【发明内容】

本申请提供了一种基于文本和图片的双模态胃部疾病分类方法及装置，可以解决人工诊断胃部疾病的效率较低的问题。本申请提供如下技术方案：

第一方面，提供一种基于文本和图片的双模态胃部疾病分类方法，所述方法包括：

将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；

将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，所述胃镜图片和所述病历报告对应同一对象；

将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。

可选地，所述将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量，包括：

从所述病历报告中提取主诉文本；

将所述主诉文本经过BERT预训练模型进行编码，得到所述文本特征向量并存储。

可选地，所述方法还包括：

使用BERT预训练模型，将所述主诉文本输入transformer模型中进行编码，得到所述文本特征向量后，进行逻辑回归softmax分类，得到文本单模态的分类结果。

可选地，所述将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，包括：

将所述胃镜图片输入预训练模型VGG19中，经过所述VGG19的表示得到最后一层的输出特征向量，得到所述图片特征向量并存储。

可选地，所述方法还包括：

在得到所述图片特征向量后，再通过softmax进行分类，得到图片单模态的分类结果。

可选地，所述将所述文本特征向量和所述图片特征向量进行特征融合，包括：

将所述文本特征向量和所述图片特征向量进行拼接，得到融合后的特征向量。

可选地，所述将所述文本特征向量和所述图片特征向量进行特征融合，包括：

将所述文本特征向量和所述图片特征向量输入预先训练的张量融合网络TFN，得到融合后的特征向量。