[发明专利]基于文本和图片的双模态胃部疾病分类方法及装置

权利要求书

1.一种基于文本和图片的双模态胃部疾病分类方法，其特征在于，所述方法包括：

将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；

将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，所述胃镜图片和所述病历报告对应同一对象；

将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量，包括：

从所述病历报告中提取主诉文本；

将所述主诉文本经过BERT预训练模型进行编码，得到所述文本特征向量并存储。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

使用BERT预训练模型，将所述主诉文本输入transformer模型中进行编码，得到所述文本特征向量后，进行逻辑回归softmax分类，得到文本单模态的分类结果。

4.根据权利要求1所述的方法，其特征在于，所述将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量，包括：

将所述胃镜图片输入预训练模型VGG19中，经过所述VGG19的表示得到最后一层的输出特征向量，得到所述图片特征向量并存储。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在得到所述图片特征向量后，再通过softmax进行分类，得到图片单模态的分类结果。

6.根据权利要求1所述的方法，其特征在于，所述将所述文本特征向量和所述图片特征向量进行特征融合，包括：

将所述文本特征向量和所述图片特征向量进行拼接，得到融合后的特征向量。

7.根据权利要求1所述的方法，其特征在于，所述将所述文本特征向量和所述图片特征向量进行特征融合，包括：

将所述文本特征向量和所述图片特征向量输入预先训练的张量融合网络TFN，得到融合后的特征向量。

8.根据权利要求1所述的方法，其特征在于，所述分类器包括长短期记忆人工神经网络LSTM网络和softmax分类函数。

9.根据权利要求1所述的方法，其特征在于，所述胃部疾病的分类结果包括每种分类的概率，对于概率大于预设阈值的分类为最终的胃部疾病的诊断结果。

10.一种基于文本和图片的双模态胃部疾病分类装置，其特征在于，所述装置包括：

文本提取模块，用于将病历报告输入预先训练的文本提取网络，得到所述病历报告的文本特征向量；

图片提取模块，用于将胃镜图片输入预先训练的图片提取网络，得到所述胃镜图片的图片特征向量；

双模态分类模块，用于将所述文本特征向量和所述图片特征向量进行特征融合，并将融合后的特征向量输入预先训练的分类器中，得到胃部疾病的分类结果。