[发明专利]一种基于多图正则化深度哈希的多模态医学图像检索方法

权利要求书

1.一种基于多图正则化深度哈希的多模态医学图像检索方法，其特征在于，包括以下步骤：

步骤1、利用多通道深度模型提取多模态医学图像的深度特征，并对深度特征标准化；

步骤2、根据步骤1提取的多个不同模态数据的特征构建多个近邻图矩阵，用以保持数据的局部流形结构，并构建一个标签矩阵；

步骤3、将构建的多个近邻图矩阵以及标签矩阵融合成一个图矩阵；

步骤4、利用模态自适应的受限玻尔兹曼机RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码；

步骤5、通过深度通道和模态自适应的RBM将待检索的模态数据生成哈希码；

步骤6、使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户；

所述步骤1利用多通道深度模型提取多模态医学图像的深度特征，具体包括：首先根据数据组模态数量自适应确定深度模型的通道数量，再将多个深度通道连接到同一分类层作为一个整体，训练整体的多通道深度模型，训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征；

所述步骤2近邻图构建中，将图视为n个向量的集合来描述数据的几何结构，其中每一个向量对应一个数据点，每一个向量的长度为ρ，表示ρ个与该数据点最近邻的数据点，多个近邻矩阵的距离度量方式采用高斯热核距离或曼哈顿距离或切比雪夫距离，m表示多模态医学图像的模态数量，i表示某一模态数据构建的近邻矩阵的第i行，j表示第j列；表示某一模态数据构建的近邻矩阵，根据深度特征构建完近邻图后，根据标签构建一个额外的标签近邻图；

所述步骤3根据标签构建一个额外的标签近邻图，具体包括：根据标签构建一个n维矩阵，构建规则如下：

x_i表示多模态数据的一组图像，x_j表示其余n-1组图像中的任意一组，a表示x_i与x_j相同标签的个数，构建完m+1个矩阵后，采用如下公式进行多图正则化矩阵融合：

其中μ表示融合时每个矩阵的权重系数，Ψ表示融合后的矩阵；

所述步骤4利用模态自适应的RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码，具体包括：

模态自适应的RBM由原始高斯RBM改进而来，可视层数量根据数据模态数量自适应确定，都连接到同一隐层；同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵，使得生成的隐层哈希码能保持数据的局部近邻结构；改进的RBM模型的能量函数如下所示：

其中U表示整个改进的RBM模型的能量函数；f_i¹,f_i²,…,f_i^M代表第1，2，…，M个可视层的某一节点，h_i表示隐层的某一结点，M表示模态数量，N₁,N₂分别表示各个可视层的节点数量和隐层节点数量；θ表示RBM的参数集合，包含可视层的偏置a，隐层的偏置b，以及可视层和隐层之间的连接权w，表示第m个可视层第r个节点的偏置，b_s表示隐层第s个节点的偏置，表示第m个可视层的第r个节点与隐层第s个节点的连接权；表示第m个可视层的第r个节点，h_s表示隐层第s个节点；表示第m个可视层第r个节点的正态分布标准差，为正值，不作训练，取定值1；λ表示正则化权重参数，其控制隐层表示的平滑性，h_is表示隐层的第s个节点，h_js表示根据融合矩阵得出的与h_is近邻的节点，m表示第m个可视层，r表示某一可视层的第r个节点、s表示隐层第s个节点。

2.根据权利要求1所述的一种基于多图正则化深度哈希的多模态医学图像检索方法，其特征在于，所述步骤1在提取到多模态医学图像组的深度特征后，将深度特征采用Z-score标准化，量化后的特征将服从标准正态分布，特征的量化公式如下：

其中μ表示某一个特征的均值，δ表示特征的标准差，x表示深度特征。