[发明专利]基于混合注意的语义增强哈希医学图像检索方法

说明书

本发明涉及一种基于混合注意的语义增强哈希医学图像检索方法。首先将数据集划分为训练集和测试检索集，从训练集中随机选择图像组成医学三元组，然后构建整体网络模型，将医学三元组样本作为网络模型的输入，最后训练整体网络模型，并使用训练好的网络得到检索结果。本发明利用通道注意模块和空间注意模块构成混合注意机制，能高效提取感兴趣区域(ROI)信息；利用类别级语义信息来约束哈希码的学习过程，有助于区分不同类别的相似哈希码；当深度嵌入映射至离散哈希码时，利用量化损失项减少深度嵌入和哈希码之间的量化误差，能够进一步提升医学图像检索的精度。

技术领域

本发明属于医学图像检索领域，特别是涉及一种基于混合注意的语义增强哈希医学图像检索方法。

背景技术

随着射线成像技术的快速发展，医疗数据逐渐电子化，医学图像的数量急剧增加。为了更好地辅助医疗诊断和评估，在大规模医学图像中挖掘有用信息非常关键。因此，医学图像检索引起了广泛注意。

医学图像检索可以分为两类：基于文本的医学图像检索和基于内容的医学图像检索。基于文本的医学图像检索出现在医学图像检索的早期，它避免了医学图像可视化元素的分析，从名称、大小、类型等方面索引医学图像，常常基于关键字查询医学图像。但是基于文本的医学图像检索依靠高度主观的人工标注，而且文本不能完全表达医学图像中丰富的语义内容。基于内容的医学图像检索旨在直接从医学图像中提取低维视觉特征和高维语义特征，从而形成特征向量，作为索引和匹配检索所需图像的客观依据。然而，现有的基于内容的医学图像检索方法大多只学习医学图像的相对关系来提取深层特征，而忽略了医学图像和标签的类别级语义，导致出现高级语义信息利用不足的问题，最终影响检索性能。

发明内容

本发明针对现有技术的不足，提供一种基于基于混合注意的语义增强哈希医学图像检索方法。首先将数据集划分为训练集和测试检索集，从训练集中随机选择图像组成医学三元组，然后构建整体网络模型，将医学三元组样本作为网络模型的输入，最后训练整体网络模型，并使用训练好的网络得到检索结果。

为了达到上述目的，本发明提供的技术方案是一种基于基于混合注意的语义增强哈希医学图像检索方法，包括以下步骤：

步骤1，将数据集划分为训练集和测试检索集；

步骤2，随机选择图像组成医学三元组；

步骤3，构建整体网络模型，将医学三元组样本作为网络模型的输入；

步骤4，训练整体网络模型；

步骤5，使用训练好的网络得到检索结果。

而且，所述步骤1中使用3个数据集，分别是胸部X光图像数据集COVID-19Radiography、COVID-19胸部X射线图像的组合精选数据集CuratedX-Ray和皮肤镜图像数据集HAM10000，对于每个数据集，选用70％的数据作为训练集，剩余30％作为测试和检索集，同一个数据集中的医学图像为同类医学图像，不同数据集中的医学图像为不同类医学图像。

而且，所述步骤2中给定m个训练图像构成训练集I＝{I₁,I₂,...,I_m}，从训练集中随机选择两幅同类医学图像作为锚点图像Q_i和正例图像P_i，然后随机选择一幅与Q_i、P_i不同类的医学图像作为负例图像N_i，构成医学三元组T＝{Q_i,P_i,N_i}_{i∈{1,...,m}}。三元组中锚点图像Q_i和正例图像P_i相似，和负例图像N_i不相似。在构建医学三元组样本单元时，选择样本数量比较少的医学图像作为稀有图像，并将其作为普通样本的负例图像，以此实现训练阶段对稀有图像的复用，克服医学图像检索领域的样本不平衡问题。