[发明专利]一种基于多图正则化深度哈希的多模态医学图像检索方法

说明书

本发明请求保护一种多图正则化深度哈希多模态医学图像检索方法，具体是通过多通道深度模型同时提取多模态医学图像组的特征；根据多模态医学图像组的特征对应构建多个图正则化矩阵；融合多个图正则化矩阵，并利用模态自适应受限玻尔兹曼机学习得到多模态医学图像组的哈希码；通过汉明距离度量求出单个模态数据哈希码与多模态医学图像组哈希码的距离并按升序排序，选择距离最小的n组多模态医学图像返回给用户，从而实现了多模态医学图像检索。该方法的实现，能帮助医生在超声图像，争端文本，核磁共振图像等多模态医学图像中，通过某一模态的数据迅速查找到另外多种模态的数据，有助于医生的医学诊断，减少医生的工作量，提高工作效率。

技术领域

本发明属于医学图像处理技术领域，尤其涉及多图正则化深度哈希方法实现多模态医学图像检索。

背景技术

多模态医学图像检索技术指的根据某一模态的输入数据从多模态医学图像库中检索出相匹配的同模态和不同模态的医学图像。已有的多模态检索技术主要有三个模块：基于文本的图像检索技术、基于文本的视频检索技术、基于图像的文本检索技术。现有的多模态检索技术多在两种模态之间互相检索，然而日益增长的多模态医学图像使得现有技术无法满足用户在任意模态数据之间互相检索的需求。

跨模态哈希检索算法成为近年来的研究热点，并取得了较好的效果。然而依旧存在一些技术缺陷：(1)现有的方法大都通过提取数据的手工特征来学习哈希码，相比于通过根据不同数据的内在结构特征来学习哈希码，手工提取特征学习到的哈希码对检索精度有较大影响；(2)现存的绝大部分基于深度学习的跨模态哈希算法也都只在两个模态数据之间实现相互检索；(3)现有方法在实现数据到哈希码的映射时都未考虑到数据的内在流形结构，以至于学习到的哈希码也未能保持数据的局部流形结构，从而影响了检索精度。

针对上述几个问题，虽然很多学者投入了大量的时间和精力去研究，但依然没有一个实现自适应数据模态的多模态检索方法出现。RBM的原理，可以将其学习得到的隐层结果直接作为数据的哈希码；而流形结构保持的加入，能在数据映射到哈希码的同时中保持数据的局部流形结构。

本发明所要解决的问题是手工特征无法满足高精度的检索需求、跨模态哈希算法多为双模态互相检索、数据到哈希码之间的映射不能保持数据局部流形结构等方面的不足。本发明运用深度模型提取数据深度特征代替数据的手工特征，避免了手工特征无法很好的挖掘数据内在结构的问题，从而在哈希检索中大大提高了检索精度；使用自适应RBM哈希算法能解决现有的多模态检索大多只能在两个模态的数据中实现互相检索的问题，能在任意多模态的数据中实现互相检索；使用流形结构保持，能在数据到哈希码的映射过程中很好的保持数据的局部流形结构，从而进一步提升检索精度。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提升检索精度的基于多图正则化深度哈希的多模态医学图像检索方法。本发明的技术方案如下：

一种基于多图正则化深度哈希的多模态医学图像检索方法，其包括以下步骤：

步骤1、利用多通道深度模型提取多模态医学图像的深度特征，并对深度特征标准化；

步骤2、根据步骤1提取的多个不同模态数据的特征构建多个近邻图矩阵，用以保持数据的局部流形结构，并构建一个标签矩阵；

步骤3、将构建的多个近邻图矩阵以及标签矩阵融合成一个图矩阵；

步骤4、利用模态自适应的受限玻尔兹曼机RBM结合融合后的图矩阵学习得到多模态医学图像共同的哈希码；

步骤5、通过深度通道和模态自适应的RBM将待检索的模态数据生成哈希码；

步骤6、使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户。