[发明专利]一种基于模态距离约束的多模态融合图像分类方法

说明书

本发明公开了一种基于模态距离约束的多模态融合图像分类方法，包括以下步骤：第一步、获取多个被试对象的rs‑fMRI数据和DTI数据；第二步、为每一个被试对象分别构建脑功能网络特征向量和脑结构网络特征向量；第三步、基于Kendall tau相关系数和“重叠”模式对两种模态的特征向量进行特征过滤操作；第四步、在K‑support范数原有基础上添加同一被试对象两种模态的特征向量在映射前后的相对距离约束，构建多模态特征选择模型的目标函数，筛选出两种模态的最优特征向量；第五步、基于多核支持向量机模型训练分类器；将待测对象两种模态的最优特征向量输入训练好的分类器，预测其类别标签。本发明分类准确率高。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于模态距离约束的多模态融合图像分 类方法。

背景技术

近十年来随着脑影像技术的进步，脑科学的研究进入了一个迅速发展的时期。磁共振成 像作为一种非入侵性活体脑功能检测技术，凭借其高分辨率、无辐射的优势，自20世纪90 年代诞生以来，迅速成为脑科学研究中应用最为广泛的脑成像技术。其中磁共振成像技术包 括结构核磁共振成像(sMRI,structural Magnetic Resonance Imaging)、功能核磁成像(fMRI, functional Magnetic Resonance Imaging)以及弥散张量成像(DTI,Diffusion Tensor Imaging)等。 每种神经影像技术提供了对脑组织不同层面的刻画，并各自有优缺点和适用场合。同时，多 模态核磁共振图像融合处理技术可整合不同模态图像对脑组织的描绘信息，为系统地探索大 脑的结构功能以及研究神经精神类疾病的发病机理等重大神经科学问题提供全新的视角。

人类大脑通常被描述为一个经济且精巧的网络组织，大部分的神经精神疾病症状与负责 情绪或认知功能的脑神经网络失调有关，大规模分布式神经网络的失调可从脑功能网络和脑 结构网络两个层面上表达。同时，大量神经影像学研究已证实功能以及结构特征的融合可以 提高图像的分类精度。目前基于多模态融合来进行图像分类的方法是将不同模态提取出的特 征连接成一个长的特征向量进行后续分析，没有考虑不同模态数据间的关系，分类准确率有 待提高。因此，有必要提供一种新的基于多模态融合来进行图像分类的方法。

发明内容

本发明所解决的技术问题是，提供一种基于模态距离约束的多模态融合的方法，建立在 基于脑结构网络和脑功能网络连接特征融合的基础上，充分利用来自不同模态神经影像数据 的互补信息来提升分类准确率。

本发明所提供的技术方案为：

一种基于模态距离约束的多模态融合图像分类方法，包括以下步骤：

第一步、获取数据，具体是：获取多个被试对象的rs-fMRI数据和DTI数据，并对其进 行预处理，得到预处理后的rs-fMRI数据和预处理后的DTI数据；其中被试对象包括已知类 别标签的样本对象和未知类别标签的待测对象；

第二步、为每一个被试对象分别构建两种模态的特征向量，即脑功能网络特征向量和脑 结构网络特征向量；

对于每一个被试对象，构建其脑功能网络特征向量的方法为：首先根据预处理后的rs-fMRI数据，采用自动解剖标签模板将其全脑中去除小脑的部分划分为90个皮质和皮下核 团区域，即90个脑区；然后将其每个脑区定义为其脑功能网络中的一个节点，将其各个脑区 对平均时间序列的皮尔森相关系数定义为其脑功能网络中相应节点间的连接关系(计算任意 脑区对平均时间序列的皮尔森相关系数为现有技术)；再以其脑功能网络中各个节点间的连 接关系为矩阵元素，为其构建一个90×90的静息态脑功能网络对称矩阵；最后去除对称矩阵 对角线上的90个对角元素，提取对称矩阵中下三角区域的所有元素作为其脑功能网络特征向 量，向量维度为4005；