[发明专利]面向自然人机交互的情绪感知方法及其系统

说明书

本发明公开了一种面向自然人机交互的情绪感知方法，包括以下步骤：S1：采集积极、平和、消极情感状态下的头皮脑电信号；S2：对步骤S1采集的数据进行预处理；S3：构建训练样本和测试样本；S4：训练深度卷积神经网络；S5：测试集测试分类效果。还公开了一种面向自然人机交互的情绪感知系统。本发明通过时空深度卷积神经网络学习脑电信号中的高维时空特征信息，以实现对情感识别任务的效率和准确率提升的脑电信号情感识别方法。本发明克服先进行特征提取后再输入卷积神经网络中产生的丢失部分有用脑电特征信息、特征提取有用性验证的问题，减少情感识别的复杂性，提高情感识别的效率和准确率。

技术领域

本发明涉及人机交互技术领域，特别是涉及一种面向自然人机交互的情绪感知方法。

背景技术

随着智能应用的普及，机器在人类生活中扮演着重要角色，机器的服务功能与社会性近年来得到广泛关注，如何提高机器的人机交互性是人机交互领域的重要话题。由情绪心理学可知：使用者在进行人机交互过程中产生的兴奋，平和，愤怒等情绪变换是一种以使用者主观使用感受为特征的心理活动。在人机交互过程中，使用者除了给出指令之外，更重要的体现在心理的参与度，通过基于情绪感知的自然人机交互方法，对提高人机交互中人的参与度与满意度，丰富人的人机交互体验具有重要作用。

传统的自然人机交互方法主要是基于语音音频和图像进行情绪感知。如：机器将人的音频转换为文本进行分析，Taboada等人提出一种通过基于词典的方法对篇章级、句子级的文本进行情感分析，得到情感分类。Machajdik和Hanbury通过研究人类对图像的感兴趣区域，提取图像的构图特征进行情感计算。近年来，随着人工智能领域的兴起，研究学者将基于语音、图像分析的情绪感知方法与机器学习方法进行结合，基于深度学习的情绪感知方法成为主流。

人机交互时使用者产生的脑电信号中带有丰富的情感，通过深度学习的方式捕获脑电信号中的情绪特征进行情感分类的方法，能够使机器感知感受到使用者的情绪变化。现有技术采用的方法是先进行特征提取后再输入卷积神经网络中，容易产生丢失部分有用脑电特征信息、特征提取有用性验证的问题，因此深度卷积神经网络框架及其对于脑电信号情感识别的有效性值得重点探索与研究。

发明内容

本发明所要解决的技术问题是提供一种面向自然人机交互的情绪感知方法及其系统，能够实现对具体的情感任务进行分类，提高情感分类任务的准确率和分类效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种面向自然人机交互的情绪感知方法，包括以下步骤：

S1：采集积极、平和、消极情感状态下的头皮脑电信号；

S2：对步骤S1采集的数据进行预处理；

S3：构建训练样本和测试样本：将经过预处理的脑电信号以1s时长为单位，分割为无重叠等长样本，按五折交叉验证方法划分训练集、测试集；

S4:训练深度卷积神经网络:将划分好的训练集输入深度卷积神经网络中，利用卷积神经网络中的卷积核结构提取原始脑电信号中的高维时间和空间信息，通过梯度下降、反向传播学习更新、优化模型中各层网络参数、使用学习率衰减的方式使得神经网络在训练后期更加稳定，当损失函数收敛至既定条件，停止训练；

S5：测试集测试分类效果：将测试集样本输入训练好的深度卷积神经网络中，得到情感识别的分类结果，与样本对应标签进行验证，得到此次实验的准确率；采用五折交叉方法进行验证，通过将各次实验准确率进行平均，得到最终准确率。

在本发明一个较佳实施例中，步骤S2的具体步骤包括：

依次去除采集的原始信号中的眼电成分，脑电信号中无效、损坏片段，再使用带通滤波器和陷波滤波器去除脑电信号噪声和设备伪迹。