[发明专利]基于时间卷积神经网络的多模态抑郁症检测方法及系统

权利要求书

1.一种基于时间卷积神经网络的多模态抑郁症检测方法，其特征在于，包括如下步骤：

步骤1：构建训练样本集，所述训练样本集包含抑郁症和非抑郁症患者的音频、3D面部表情和对应的文本信息；

步骤2：对所述训练样本集的3D面部表情进行面部表情特征提取，获得具备情境感知的3D面部表情特征向量；

步骤3：使用音频信号分帧加窗算法，结合短时傅里叶变换，绘制所述训练样本集的音频信号的语谱图；再使用三角滤波器，结合梅尔倒谱系数MFCC，对所述训练样本集的语谱图进行特征增强，获得具备情景感知的语音向量特征；

步骤4：使用Transformer模型，对所述训练样本集的患者测试文本进行句子级嵌入处理，获得具备情景感知的文本特征；

步骤5：使用图卷积神经网络GCN，对所述3D面部表情特征向量、所述语音向量特征和所述文本特征进行融合，获得用于进行抑郁症分类的信息；

步骤6：将所述用于进行抑郁症分类的信息带入时间卷积神经网络，获得抑郁症分类信息；

所述步骤5具体包括：

每个患者样本的多模态特征表示为：

其中，为时序t下的第i种模态的特征，T代表时序总长度，N^m代表模态特征的总数目；

该特征序列的多模态时序图结构表示为A，特征融合网络利用图卷积神经网络，每个特征在第k次迭代表示如下：

其中，D是A的对角矩阵，W^(k+1)是本次迭代过程中可训练的网络参数，是非线性激活函数；

由上述图卷积神经网络，最终输出模态无关性的融合特征表示为X^K，K代表图卷积总层数；

所述步骤6具体包括：

采用迁移学习机制，调整所述3D面部表情特征、声学通道特征和文本通道特征的权重，带入时间卷积神经网络中，使得最终抑郁症分类预测结果和反馈信息之间的差异最小化；融合所述时间卷积神经网络的输出，获得抑郁症的分类结果；

采用基于KL散度约束的迁移学习方法引入抑郁症检测公开数据集作为源域进行知识迁移，并构建如下损失函数：

L_KL＝∑[∑q(X_s)logq(X_s)]p(X_t)logp(X_t)

其中，X_s和X_t分别代表源域和目标域数据样本，q(X_s)代表由本方法对于源域数据预测得到的概率分布；

使用迁移学习机制，得到带预训练权重的TCN网络模型；

将融合后的时序特征信号X^K作为输入，送入TCN网络中，经全连接层输出获得每个样本不同患病程度的概率分布p(X)。

2.根据权利要求1所述的一种基于时间卷积神经网络的多模态抑郁症检测方法，其特征在于，所述步骤3获得具备情景感知的语音向量特征的具体过程为：

(1)将采集到的音频信号经过预加重滤波、分帧加汉宁窗及分帧补零后，对每帧信号进行傅里叶变换得到频谱，并对语音信号的频谱取模平方得到功率谱；

(2)再将频谱及功率谱的纵坐标频率转换为梅尔频率，应用40个在转换后的梅尔谱上均匀分布且每两个滤波器间有50％重叠部分的三角滤波器，计算转换后的频谱及功率谱在这40个滤波器的梅尔频率分布，随后将梅尔频率通过以下公式转换成实际频率：

(3)对三角窗滤波器组的输出求对数，得到对数能量梅尔谱；

(4)对对数能量梅尔谱进行离散余弦变换DCT变换，取前13维输出，得到语音向量特征。

3.根据权利要求1所述的一种基于时间卷积神经网络的多模态抑郁症检测方法，其特征在于，所述步骤4获得具备情景感知的文本特征的具体过程为：

构建Transformer模型，以词嵌入作为Transformer模型的输入，该Transformer模型包括多个含有自注意力的编码器和解码器以及位于最后一层的softmax层；

利用已有的文本语料，使用无监督训练方法与训练Transformer模型参数，然后采用迁移学习，在采集得到的抑郁症文本数据进行自适应训练；

在训练完成后，将softmax层去除，以Transformer模型的输出作为所述情景感知的文本特征。