[发明专利]基于混合注意的语义增强哈希医学图像检索方法

权利要求书

1.一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于，包括如下步骤：

步骤1，将数据集划分为训练集和测试检索集；

步骤2，随机选择图像组成医学三元组；

步骤3，构建整体网络模型，将医学三元组样本作为网络模型的输入；

步骤4，训练整体网络模型；

步骤5，使用训练好的网络得到检索结果。

2.如权利要求1所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤1中使用n个数据集，对于每个数据集，选用70％的数据作为训练集，剩余30％作为测试和检索集，同一个数据集中的医学图像为同类医学图像，不同数据集中的医学图像为不同类医学图像。

3.如权利要求2所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤2中给定m个训练图像构成训练集I＝{I₁,I₂,...,I_m}，从训练集中随机选择两幅同类医学图像作为锚点图像Q_i和正例图像P_i，然后随机选择一幅与Q_i、P_i不同类的医学图像作为负例图像N_i，构成医学三元组T＝{Q_i,P_i,N_i}_{i∈{1,...,m}}；在构建医学三元组样本单元时，选择样本数量比较少的医学图像作为稀有图像，并将其作为普通样本的负例图像，以此实现训练阶段对稀有图像的复用，克服医学图像检索领域的样本不平衡问题。

4.如权利要求3所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤3中对于每一个三元组，三张医学图像同时输入权重共享的孪生神经网络，该孪生神经网络由卷积块、密集块、卷积块和一个用于哈希码输出的全连接层组成；在卷积块和密集块之间加上一个通道注意模块，密集块和卷积块之间加上一个空间注意模块，构成混合注意机制；通过通道注意模块和空间注意模块获取感兴趣区域信息，能够同时获得通道间的依赖和空间域的显著特征，进而更有效地关注医学图像的差异。

5.如权利要求4所述的一种基于混合注意的语义增强哈希医学图像检索方法，其特征在于：步骤3中一张医学图像首先通过第一个卷积块得到特征图X∈R^C×H×W，其中H和W分别表示特征图的高和宽，C表示通道的数量；接着通过通道注意模块，利用平均池化和最大池化操作压缩输入的特征图；通道注意模块内包括两个连续卷积层，第一个1×1卷积用于将池化操作后的特征投影到参数较少的隐藏层，并利用ReLU函数作为激活函数；第二个1×1卷积旨在恢复通道数，并利用sigmoid函数作为激活函数；然后将平均池化向量和最大池化向量逐元素相加，利用sigmoid函数进行加权操作，最后乘以特征图X；

通道注意模块可表示为：

式中，M_C(X)是一维通道注意图，大小为C×1×1；Conv_1×1代表滤波器大小为1×1的卷积操作；σ表示sigmoid函数；AvgPool(·)是平均池化函数；MaxPool(·)是最大池化函数。