[发明专利]基于多通道数据和循环神经网络的情感分析方法和系统

说明书

本发明提供一种基于多通道数据和循环神经网络的情感分析方法和系统，涉及情感分析技术领域。该方法包括：获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将语音数据、红外脉搏数据和皮肤电阻数据分别转换为对应的频谱图；将人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；将各个特征数组合并，得到一个总特征数组，并将总特征数组输入情感分析模型中，得到待分析者的各类型情感所占的比例。本发明能够提高情感分析的准确性。

技术领域

本发明涉及情感分析技术领域，具体涉及一种基于多通道数据和循环神经网络的情感分析方法、系统、计算机设备、计算机可读存储介质和计算机程序。

背景技术

在现有技术中，情感分析的方式有基于面部表情建立情感计算系统的方式，也有基于脉搏信号建立情感计算系统的方式，不论哪种方式，采用的数据都比较单一，使得情感分析的准确性较差。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多通道数据和循环神经网络的情感分析方法、系统、计算机设备、计算机可读存储介质和计算机程序，能够提高情感分析的准确性。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明提供一种基于多通道数据和循环神经网络的情感分析方法，该方法包括：

获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；

将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；

将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入情感分析模型中，得到所述待分析者的各类型情感所占的比例；

其中，所述情感分析模型包括预先训练的循环神经网络、预设的第一全连接层和预设的激活函数；所述循环神经网络包括第三预设数量的长短时记忆网络单元，所述第三预设数量为所述总特征数组中特征数据的数量，所述第三预设数量的长短时记忆网络单元依次连接，第一个长短时记忆网络单元的输入数据为所述总特征数组中的第一个特征数据，除第一个长短时记忆网络单元之外的每一个长短时记忆网络单元的输入数据为上一个长短时记忆网络单元的输出数据和所述总特征数组中对应的一个特征数据；所述循环神经网络用于根据将所述总特征数组输出第一情感数据，所述第一全连接层用于将所述第一情感数据转换为第二预设数量的第二情感数据，所述第二预设数量为情感类型的数量；所述激活函数用于根据所述第二预设数量的第二情感数据，确定所述待分析者的各类型情感所占的比例。

第二方面，本发明提供一种基于多通道数据和循环神经网络的情感分析系统，该系统包括：

数据获取单元，用于获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；

数据转换单元，用于将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；

特征确定单元，用于将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；