[发明专利]一种基于模态距离约束的多模态融合图像分类方法

摘要

本发明公开了一种基于模态距离约束的多模态融合图像分类方法，包括以下步骤：第一步、获取多个被试对象的rs‑fMRI数据和DTI数据；第二步、为每一个被试对象分别构建脑功能网络特征向量和脑结构网络特征向量；第三步、基于Kendall tau相关系数和“重叠”模式对两种模态的特征向量进行特征过滤操作；第四步、在K‑support范数原有基础上添加同一被试对象两种模态的特征向量在映射前后的相对距离约束，构建多模态特征选择模型的目标函数，筛选出两种模态的最优特征向量；第五步、基于多核支持向量机模型训练分类器；将待测对象两种模态的最优特征向量输入训练好的分类器，预测其类别标签。本发明分类准确率高。

主权项

1.一种基于模态距离约束的多模态融合图像分类系统，其特征在于，包括以下模块：数据获取模块，用于获取多个被试对象的rs‑fMRI数据和DTI数据，并对其进行预处理，得到预处理后的rs‑fMRI数据和预处理后的DTI数据；其中被试对象包括已知类别标签的样本对象和未知类别标签的待测对象；特征向量构建模块，用于为每一个被试对象分别构建两种模态的特征向量，即脑功能网络特征向量和脑结构网络特征向量；对于每一个被试对象，构建其脑功能网络特征向量的方法为：首先根据其预处理后的rs‑fMRI数据，采用自动解剖标签模板将其全脑中去除小脑的部分划分为90个皮质和皮下核团区域，即90个脑区；然后将其每个脑区定义为其脑功能网络中的一个节点，将其各个脑区对平均时间序列的皮尔森相关系数定义为其脑功能网络中相应节点间的连接关系；再以其脑功能网络中各个节点间的连接关系为矩阵元素，为其构建一个90×90的静息态脑功能网络对称矩阵；最后去除该对称矩阵对角线上的90个元素，提取对称矩阵中下三角区域的所有元素作为其脑功能网络特征向量，向量维度为4005；对于每一个被试对象，构建其脑结构网络特征向量的方法为：首先根据其预处理后的DTI数据，采用自动解剖标签模板将其全脑中去除小脑的部分划分为90个皮质和皮下核团区域，即90个脑区；将其每个脑区定义为其脑结构网络中的一个节点，将其各个脑区对间白质纤维数量定义为其脑结构网络中相应节点间的连接关系；再以其脑结构网络中各个节点间的连接关系为矩阵元素，为其构建一个90×90的静息态脑结构网络对称矩阵；最后去除该对称矩阵对角线上的90个元素，提取对称矩阵中下三角区域的所有元素作为其脑结构网络特征向量，向量维度为4005；特征过滤模块，用于基于Kendall tau相关系数和“重叠”模式对被试对象两种模态的特征向量进行特征过滤操作，得到被试对象两种模态新的特征向量；特征选择模块，用于在K‑support范数原有基础上添加同一被试对象两种模态的特征向量在映射前后的相对距离约束，构建多模态特征选择模型的目标函数，对被试对象两种模态新的特征向量进行特征选择，从而得到被试对象两种模态的最优特征向量；多元模式分类模块，用于基于训练样本两种模态的最优特征向量，采用多核支持向量机模型训练分类器；将待测对象两种模态的最优特征向量输入训练好的分类器，预测其类别标签；特征过滤模块进行特征过滤操作具体包括以下步骤：步骤3.1、首先获取病人组和正常对照组样本数据，并用和表示第i个样本对象和第h个样本对象第e模态特征向量中的第j维特征，即第i个样本对象和第h个样本对象的第e模态特征向量中的第j维元素，其中e＝1,2，第1模态为脑功能网络，第2模态为脑结构网络，j＝1,2,…,4005，y_i和y_h分别表示第i个样本对象和第h个样本对象的类别标签，类别标签为1表示该样本对象为病人组的样本对象，类别标签为‑1表示该样本对象为正常对照组的样本对象，再根据公式1)计算Kendall tau相关系数：其中：表示第e模态特征向量中的第j维特征的Kendall tau相关系数，m和n分别为病人组和正常对照组中样本对象个数，和分别为第e模态调和对和非调和对的个数；调和对的定义为：非调和对的定义为：其中：sgn为符号函数，y_i≠y_h，y_i≠y_h；和即为满足公式2)和公式3)的样本对象对i‑h的个数；然后对j＝1,2,…,4005按照绝对值大小进行排序；选取第e模态特征向量中对应的超过设定阈值的特征维度；步骤3.2、为了确保脑网络特征的对应关系，运用“重叠”模式对步骤3.1选取的特征进行进一步筛选，以保证脑功能网络或脑功能网络中任一节点对间的连接关系同时出现或不出现在后续的特征选择步骤中；筛选方法为：若第1模态特征向量中的第j维特征和第2模态特征向量中第j维特征同时被步骤3.1选择，则保留该特征维度；否则，若第1模态特征向量中的第j维特征和第2模态特征向量中第j维特征中只有一个或没有一个被步骤3.1选择，则过滤掉该特征维度；步骤3.3、对每一个被试对象两种模态的特征向量，仅保留步骤3.2筛选出的特征维度，得到其两种模态的新的特征向量。