[发明专利]基于情绪刺激任务的便携式多通道抑郁倾向评估系统

权利要求书

1.一种基于情绪刺激任务的便携式多通道抑郁倾向评估方法，其特征包括以下步骤：

(1)标准化情绪刺激步骤：向受试者呈现标准化的情绪刺激，包括静态情绪刺激和动态情绪刺激；

(2)生理信号采集步骤：采集受试者在完成情绪刺激任务时的多通道生物电信号，包括脑电、皮肤电、心电；

(3)行为数据采集步骤：采集受试者在完成情绪刺激任务时的多通道行为数据，包括眼动信息、语音信息、二维影像信息和三维深度影像信息；

(4)机器学习数据处理步骤：利用监督学习算法和非监督学习算法对生理信号和行为数据进行处理，进行特征提取、特征筛选、模型训练和模型验证；

(5)整合评估步骤：整合多通道数据所得结果，计算抑郁倾向指数；其中：所述步骤(1)中，所有情绪刺激均事先经过标准化的评估，以保证其在效价和唤起度上匹配；静态情绪刺激由图片构成，其中一半为正性图片，一半为负性图片；动态情绪刺激由短片构成，每段短片持续时间为20-100秒；情绪刺激呈现在台式电脑屏幕上；

所述步骤(2)中，生理信号通过便携式生物电信号采集设备采集；其中脑电设备传感器为接触式干电极；心率采用心率传感器记录心电变化情况，传感器为医用贴片式电极；皮肤电采用皮肤电设备，将两个传感器分别固定于受试者非惯用的食指和中指，以采集皮肤电的变化情况；所有生物电信号统一实时上传至商业化云处理平台；

所述步骤(3)中，行为数据同样由便携式设备采集；其中眼动信息由眼控仪收集，记录眼球活动轨迹以及每个采样点上眼球坐标位置；语音信息由麦克风收集；二维影像信息由4k摄像头采集；三维面孔深度信息由深度摄像头采集；所有行为数据统一实时上传至商业化云处理平台；

所述步骤(4)中，机器学习过程在商业化云处理平台完成；包括各通路数据的预处理、特征提取、特征筛选、模型训练和模型验证；

所述步骤(5)中，根据步骤(4)所得模型，分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数；其中步骤(4)中的

预处理主要包括：对原始脑电电压数据进行转换、过滤肌电；对皮肤电和心电数据进行去噪音处理；对行为数据进行噪音过滤；

特征提取主要包括：1)将正性刺激和负性刺激所对应的生物电信号和行为数据进行分段提取,具体波段包括1-4Hz的delta，4-8Hz的theta，8-13Hz的alpha，13-30Hz的beta，30-44Hz的gamma，45-60Hz high-gamma的；2)对于脑电数据，提取不同类型情绪刺激下的相应特征值，共2870个特征，其中包括不同波段脑电的平均波长λ、频率F，波振幅a，其中，a＝h_波峰值-h_波谷值、变化熵S、能量值λ²的特征值；对于皮肤电数据，提取不同类型情绪刺激下以及情绪刺激出现的皮肤电波长、波峰值、波谷值、变化熵共计1150个特征；对于心电数据，提取不同类型情绪刺激前后心率变异率作为特征值；对于眼动数据，计算受试者注视不同情绪刺激的持续时长、所占比率、眼动和眼跳指标，共计1200个特征；

特征筛选是指利用监督学习算法处理脑电、皮肤电、心电、眼动信息，使用的算法包括支持向量机(Support Vector Machines,SVM)、logistic回归、随机森林(Random Forest)以及基于上述三个算法的整合算法；

模型训练是指利用非监督学习算法卷积神经网络(CNN)和循环神经网络(RNN)分别处理面部表情信息和语音信息，进行第一级的模型的训练；将监督学习算法与非监督学习算法结合起来，首先使用经过上百万次训练的卷积神经网络CNN和循环神经网络RNN分别对面部表情和语言信息进行中间信息的提取；之后再将这些中间的信息结合脑电，皮肤电和眼动信息进行第二级的分类模型的训练；

模型验证是指根据人工智能算法的训练规则，为了保证实验的有效性，整体研究将按照训练模型、验证模型和测试模型的顺序进行；其中60％的样本数据将用于对计算机模型进行训练，并形成最终的分类模型，20％的样本数据用于验证得出的分类模型，最后20％的样本数据用于测量和评估模型的准确性；其中步骤(5)中具体为：

根据步骤(4)所得模型，分别计算各通路数据的权重，根据权重计算得出抑郁倾向指数；具体计算方法如下：

通过逻辑回归，于第二级的分类模型中的脑电，皮肤电，眼动，语音和面部表情特征Fi得出各模态特征的相对权重V1，V2，V3…Vi，并由通过线性相加得到抑郁倾向指数：