[发明专利]一种基于语义特征和有监督哈希的图像检索方法

权利要求书

1.一种基于语义特征和有监督哈希的图像检索方法，其特征在于，包括以下步骤：

步骤A，提取肺部CT图像中的肺结节混合征象区域，并截取其中各个单一征象区域，为之后提取表达肺结节征象信息的语义特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，采用基于参数共享的卷积神经网络提取表达肺结节征象信息的语义特征；首先使用第一个卷积神经网络训练单一征象数据，通过调整网络参数使其有效识别各个单一征象；然后将网络参数传递到第二个卷积神经网络，训练混合征象数据，并通过损失函数和误差反向传播机制来微调网络参数，从而获得表达结节征象信息的高维的语义特征；

步骤C，用于实现相似的肺结节图像检索；利用监督信息构造有效的哈希函数，将步骤B得到的高维的语义特征映射为简洁的哈希码，并为查询图像设计自适应权重向量，通过加权汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像；

所述步骤B中网络参数调整过程如下：

B1、对于第一个卷积神经网络，使用单一征象数据集进行训练；

第一个卷积神经网络共有7层，输入层、包含2个卷积层和2个降采样层的隐含层、全连接层和输出层；使用线性插值方法将单一征象数据集中的图像统一大小为48×48，并减去图像均值进行预处理，将其作为卷积神经网络输入层的输入；使用多项逻辑回归模型中的softmax函数作为损失函数，输出层产生一个在各单一征象类上的概率分布；在隐含层使用rectified linear units(ReLU)作为激励函数，以便缩短学习周期的同时提高学习精度；在整个训练过程中使用梯度下降法进行优化，使得损失函数能够快速收敛；通过第一个卷积神经网络网络的训练，得到能够有效识别不同单一征象的网络参数；

B2、对于第二个卷积神经网络网络，使用混合征象数据集进行训练；

将B1中训练单一征象的网络参数转移到第二个卷积神经网络网络中，并将含有混合征象的整个肺结节图像作为网络输入，每张肺结节图像的大小同样被统一为48×48，通过微调网络参数，经过训练的网络能有效地识别肺结节图像含有的混合征象；网络训练过程与第一个卷积神经网络网络的训练过程相同，在输出层同样会产生对6个单一征象类的概率分布，以确定肺结节所含有的混合征象，但是由于混合征象的类别数不等于单一征象数，因此，损失函数的设计也有所不同；损失函数的定义为：如果结节图像表现出第j类征象，则l_ij＝1，j＝1,2,…,c，否则l_ij＝0；最后，利用调整好的网络获取肺结节图像所含有的征象特征；

所述步骤C具体过程如下：

C1、利用监督信息构造有效的哈希函数；

①使用PCA算法对肺结节的图像特征进行预处理，将结节特征投影到可以最小化投影误差的线性子空间中，减少冗余信息，确保哈希映射后的哈希码含有原始图像的主要信息；

②哈希函数的一般形式为：b_k的取值为0，用PCA映射后的语义特征v_i代替x_i，从而简化公式为：

③利用监督信息解决哈希函数中的w，所述的监督信息是指肺结节图像中所含混合征象的类型标签；

C2、为查询图像设计自适应权重向量，并检索相似的肺结节图像；

①设计各混合征象类型对应的权重向量；经哈希函数映射后，得到由肺结节图像的哈希码所构成的r维空间的集合Y＝{y₁,y₂,…,y_n}；权重向量的设计要求一：同类混合征象中肺结节图像的汉明距离最小：

符号“。”表示Hadamard积,i＝1,2,...,k；权重向量的设计要求二：保留各类混合征象在原始特征空间的关系：

s_ij表示第i类与第j类的相似程度，若两类混合征象表现的差异性较大，即s_ij越小，相应的加权汉明距离应该越大；根据上述两个要求，目标函数可以设计为：

a_i＞0,(a_i)^T*1＝1,i＝1,2,...,k；

β表示平衡这两个要求的参数，设置β＝1；求解上式即可得到不同混合征象类型的权重向量；

②计算查询图像的自适应权重向量；

③根据查询图像的自适应权重向量a_q计算查询图像的哈希码y_q与各候选混合征象类型中的哈希码{Y₁,…,Y_m}之间的加权汉明距离：并从这m个候选混合征象类型的图像库中检索出具有相似征象的肺结节图像。