[发明专利]一种基于脑机生成对抗的情绪识别方法

说明书

本发明公开一种基于脑机生成对抗的情绪识别方法。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的生成关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像视觉特征到脑电情感特征的生成模型，从而实现形式表征到认知表征之间的生成。本发明将探索脑电情感特征与图像视觉特征之间的关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征，本发明设计一种“基于脑机生成对抗的情绪识别方法”。

技术领域

本发明属于脑机协同与情绪识别的交叉领域，具体涉及一种基于生成式对抗网络的脑机协同智能技术用于情绪识别的方法。

背景技术

脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。生成式对抗网络(Generative Adversarial Networks，GAN)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。基于机器学习的情绪识别技术。近年来，应用于计算机视觉领域的深度学习算法取得了突破，包括卷积神经网络(convolutionalneural network，CNN)和递归神经网络(recursive neural network，RNN)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中，CNN的主要优点是通过直接从输入图像进行“端到端”学习，完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是，在面部情绪训练数据较少的情况下，不足以深度神经网络学习形式表征；在面部情绪训练数据较多的情况下，基于深度学习的方法需要更高级别和更大规模的计算设备。

基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就，但其相比于人类来说，更容易出现误判，而且误判的成本和代价更大。例如，情绪图像中的某一些情绪类别之间存在模糊的界限，机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征，进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，基于脑电图(electroencephalogram，EEG)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是，基于脑电图信号做情绪识别任务需要人脑参与，每次进行识别任务需要重新采集脑电图信号，涉及多次复杂繁琐的数据预处理过程。

发明内容

本发明的一个目的是针对现有技术的不足，提出一种基于脑机生成对抗的情绪识别方法。采用脑机协同这一强大的智能形态，不仅可以保留人脑和机器的优点，还可以解决前者存在的数据采集不便和后者数据量要求较大的问题，实现脑机协同工作。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习到的仅仅是图像的形式表征，如果能够建立两者之间的生成关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像视觉特征到脑电情感特征的生成模型，从而实现形式表征到认知表征的生成。本发明将探索图像视觉特征与脑电情感特征之间的关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征。

本发明提供一种基于脑机生成对抗的情绪识别方法，其具体步骤如下：

步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据。

步骤2、针对图像模态数据提取图像视觉特征

步骤3、针对脑电模态数据提取脑电情感特征

步骤4、利用脑机协同智能方法构建图像特征到脑电特征的映射函数。