[发明专利]一种认知障碍检测模型及其训练方法

权利要求书

1.一种认知障碍检测模型，包括多模态信息表征模块、多模态信息融合模块、无监督深度聚类模块，其中，

所述多模态信息表征模块包括眼底图像数据表征网络、多模态生理信号数据表征网络，所述眼底图像数据表征网络用于提取眼底图像数据的特征，所述多模态生理信号数据表征网络用于提取多模态生理信号数据的特征，所述多模态生理信号数据包括加速度数据、陀螺仪数据、心率数据、血压数据、脑电数据、压力片数据中的至少一种；

所述多模态信息融合模块与所述多模态信息表征模块相连接，用于将所述眼底图像数据的特征与多模态生理信号的特征采用全连接方法进行融合，得到融合后的特征；

所述无监督深度聚类模块与所述多模态信息融合模块相连接，用于根据所述融合后的特征基于无监督聚类模型进行认知障碍检测；

所述认知障碍检测模型在训练阶段，使用反向传播的梯度下降法最小化目标函数，迭代更新所述多模态信息表征模块、所述多模态信息融合模块、所述无监督深度聚类模块的网络参数，所述目标函数为网络的重构误差与KL散度之和；

所述认知障碍检测模型在训练阶段，仅使用正常人群的眼底图像数据和多模态生理信号数据。

2.根据权利要求1所述的认知障碍检测模型，所述眼底图像数据表征网络采用Mobilenet网络，所述多模态生理信号数据表征网络采用浅层卷积网络；

所述无监督深度聚类模块包括编码器、解码器和深度聚类模型，其中，所述编码器由卷积层和池化层组成，解码器由卷积层和反池化层组成；所述编码器的输出送入所述解码器和所述深度聚类模型；所述深度聚类模型用于对输入数据进行无监督分类。

3.根据权利要求1或2所述的认知障碍检测模型，采用以下公式融合眼底图像数据的特征与多模态生理信号数据的特征，

O＝f(λ₁*Z¹+λ₂*Z²)

其中，O表示输出，f(·)表示全连接网络层，Z¹表示提取的眼底图像数据的特征，Z²表示提取的多模态生理信号数据的特征，λ₁＞＞λ₂，λ₁+λ₂＝1，0＜λ₁＜1，0＜λ₂＜1。

4.根据权利要求1或2所述的认知障碍检测模型，所述目标函数为

其中，θ表示网络参数，q_ij为软分配，p_ij为辅助分布，i表示第i个样本，j表示第j个聚类中心，N表示一次迭代中所需的数据总量，O_i表示第i个样本的多模态数据融合后得到的输出，O′_i表示与O_i有着相同结构的重构值，L(O_i，O′_i)为重构误差，表示为l₂范数。

5.一种用于权利要求1-4之一的认知障碍检测模型的训练方法，包括：

步骤1，使用所述多模态信息表征模块提取正常人群的眼底图像数据的特征以及多模态生理信号数据的特征；

步骤2，使用所述多模态信息融合模块将眼底图像数据的特征与多模态生理信号数据的特征进行融合，得到融合后的特征；

步骤3，将所述融合后的特征输入无监督深度聚类模块进行无监督分类，获取网络重构误差；

步骤4，采用反向传播的梯度下降法最小化目标函数，迭代更新所述多模态信息表征模块、所述多模态信息融合模块、所述无监督深度聚类模块的网络参数；

步骤5，重复步骤1到步骤4直到模型收敛，将包含正常人群数据的验证集输入训练后的模型，获取用于认知障碍检测的阈值。