[发明专利]基于多模态大脑影像的阿尔茨海默症综合诊断系统

权利要求书

1.一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；

患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；

还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；

所述PET所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；

所述相关蛋白包括Aβ淀粉样蛋白或tau蛋白；

所述基于领域对抗的神经网络包括：

图像数据以及预处理模块，被配置为进行数据分割及MRI预处理，通过领域对抗学习对齐结构以及功能性影像的特征表达从而使神经网络具有通用性；

半监督变分自动编码器模块，被配置为将半监督变分推断的技术融入自动编码器的学习增强了特征表达的可区分性；

多模态对抗与域融合模块，被配置为消除多模态特征融合对于输入信息对称性的要求；

积分梯度回传定位病变区域模块，被配置为根据积分梯度回传算法自动定位病变相关区域。

2.如权利要求1所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，所述图像数据以及预处理模块包括：

数据分割模块，被配置为进行所有实验之前对数据进行拆分，按比例划分，将每个患者的所有MRI和PET图像添加到同一集合中；

MRI预处理模块：被配置为使用基于卷积神经网络的颅骨剥离方法去除所有非脑组织，减少与阿尔茨海默氏病无关的组织相关的噪音，运动校正并将图像和标准模板进行配准；确定MRI和PET输入的空间分辨率一致；

通过移除模态所有图像上黑色的切片裁剪图像，将图像跨域对齐，直到达到比例因子为止；

通过多维图像处理库中实现的三阶样条插值方法，以最小的分辨率损失进行缩放；

所有图像均被标准化为均值0和方差1；

在将所有训练数据输入网络之前，使用均匀分布在-10°和+10°之间的随机旋转，概率为0.5的水平和垂直随机翻转和均匀分布在-0.1和0.1之间的全图像素强度偏移进行数据增强。

3.如权利要求1所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，半监督变分自动编码器模块包括：

编码器网络，被配置为将输入的MRI和PET编码到高维的特征空间，其输出为特征表示；

解码器网络，被配置为使用该特征表示重建原始图像；

原始图像与编码器网络输出之间的差异为误差损失；

通过误差损失的反向传播，编码器网络学习到有用的特征表示；

将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展。

4.如权利要求3所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展包括：

引入潜变量并用编码器G_e对受检者的MRI/PET，即进行编码得到z关于x的真实分布的近似

编码器网络使用四个卷积区块对图像进行编码，每个卷积区块由3×3×3卷积层，2×2×2最大池化层，归一化层和线性整流激活层组成；

对于2×2×2最大池化层，使用2个体素的跨度，或使用零填充输入，每个卷积区块的输出特征图的空间分辨率比前一区块减小2倍；

对于每个卷积滤波器，使用1个体素的步幅并在被卷积特征图周围进行体素的填充；

进行正态分布采样∈～N(0,(I))并根据编码器网络输出的特征重新参数化：