[发明专利]基于多通道数据和循环神经网络的情感分析方法和系统

权利要求书

1.一种基于多通道数据和循环神经网络的情感分析方法，其特征在于，包括：

获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

所述预设视频包括悲伤、愤怒、高兴、惊奇、恐惧、厌恶六种类型中至少一种类型的视频；

将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；

将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；

将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入情感分析模型中，得到所述待分析者的各类型情感所占的比例；

其中，所述情感分析模型包括预先训练的循环神经网络、预设的第一全连接层和预设的激活函数；所述循环神经网络包括第三预设数量的长短时记忆网络单元，所述第三预设数量为所述总特征数组中特征数据的数量，所述第三预设数量的长短时记忆网络单元依次连接，第一个长短时记忆网络单元的输入数据为所述总特征数组中的第一个特征数据，除第一个长短时记忆网络单元之外的每一个长短时记忆网络单元的输入数据为上一个长短时记忆网络单元的输出数据和所述总特征数组中对应的一个特征数据；所述循环神经网络用于根据将所述总特征数组输出第一情感数据，所述第一全连接层用于将所述第一情感数据转换为第二预设数量的第二情感数据，所述第二预设数量为情感类型的数量；所述激活函数用于根据所述第二预设数量的第二情感数据，确定所述待分析者的各类型情感所占的比例；

所述循环神经网络的训练过程包括：

分别对多个训练对象观看所述预设视频过程中所产生情感的类型进行标记；

分别获取所述多个训练对象在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

将每一个训练对象的语音数据、红外脉搏数据和皮肤电阻数据分别转化为对应的频谱图；

将每一个训练对象的人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；

将每一个训练对象对应的各个特征数据合并，得到该训练对象的总特征数组；

根据所述多个训练对象各自的总特征数组和对所述多个训练对象各自标记的情感类型，进行循环神经网络训练，得到循环神经网络。

2.如权利要求1所述的情感分析方法，其特征在于，所述卷积神经网络模型的结构包括依次连接的五个卷积单元以及与第五个卷积单元的输出端连接的第二全连接层；其中：每一个卷积单元包括一个卷积层和连接该卷积层输出端的下采样层；所述第二全连接层用于将第五个卷积单元的输出数据的数量转化为第一预设数量。

3.根据权利要求2所述的情感分析方法，其特征在于，

所述五个卷积单元中第一个卷积单元中的卷积层包括96个11*11的卷积核，所述第一个卷积单元中的下采样层的采样核为3*3，采样步长为2；和/或

所述五个卷积单元中第二个卷积单元中的卷积层包括128个5*5的卷积核，所述第二个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或

所述五个卷积单元中第三个卷积单元中的卷积层包括192个3*3的卷积核，所述第三个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或

所述五个卷积单元中第四个卷积单元中的卷积层包括192个3*3的卷积核，所述第三个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或

所述五个卷积单元中第五个卷积单元中的卷积层包括128个3*3的卷积核，所述第五个卷积单元中的下采样层的采样核为3*3，采样步长为1。