[发明专利]一种基于自适应选择策略的情感识别方法

说明书

本发明提供一种基于自适应选择策略的情感识别方法，涉及情感识别技术领域。该方法首先获取多种情感信号；并对多种情感信号分别进行预处理及转换，得到多个通道的图像信号；然后再建立多个残差式深度卷积神经网络结构对多个通道的图像信号分别进行情感特征提取及情感类别的初步判识；并自适应选择多个通道图像信号的情感类别的初步判识结果；最后采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别。该方法能够选出反映真实情感的通道数据进行最终的判决，弥补了单模式的不足，提高了识别方法的鲁棒性和识别率；并提出了一种基于类可靠度和可能性比率的融合与识别算法，使整个识别过程更加接近人类情感识别。

技术领域

本发明涉及情感识别技术领域，尤其涉及一种基于自适应选择策略的情感识别方法。

背景技术

随着机器人技术的不断发展，机器人应用任务的不断增多，人机交互任务也日趋复杂，仅仅依靠被动地接受用户的指令和控制远远不够，如果不能主动地理解用户的目的和意图，则无法推断用户的心理状态，较为缺乏感知和引导的能力。利用情感识别模型，赋予机器人拥有像人一样的情感认知能力，能够根据人的行为举止对其情感状态进行推断，理解人的行为和意图，从而实现高效、自然、和谐的智能人机交互。

目前，国内外情感识别的研究主要有两大类，一类是单模式情感识别，另一类是多模式情感识别。所谓单模式情感识别为只从单一信息通道中获得当前对象的情感状态，如从语音信号、面部表情信号或生理信号(血压、体温、脉搏、心电、脑电、皮肤电阻等)等。虽然单一地依靠语音信号、面部表情信号和生理参数来进行情感识别的研究取得了一定的成果，但却存在着很多局限性，因为人类是通过多模式的方式表达情感信息的。当某一个通道的特征受到干扰或缺失时，多模式方法能在某种程度上产生互补的效应，弥补了单模式的不足，所以研究多模式情感识别的方法十分必要。东南大学的赵力、黄程韦等通过融合语音信号与心电信号进行了多模式情感识别，获得较高的融合识别率。Verma等融合脑电信号与其他生理信号，对13个情感类别进行识别研究。Patwadhan提出了一种利用多模式音视频连续数据自动检测情感的方法，采用特征层融合的方法建立组合特征向量，利用支持向量机分类器进行情感检测。刘菁菁等提出一种基于长短时记忆(LSTM)网络的多模态情感识别模型,采用双路LSTM分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息。

目前，融合多模式情感信息的方法主要有2种：决策层的融合和特征层的融合。这两种方法各有优缺点，决策层的融合技术考虑了不同模式对于情感识别重要性的不同，但往往对同一模式仅赋一个权重，由于各模式对不同类别数据的分类能力是不同的，因此这种通过主观感知实验得到的权重能否应用到其他的情况下是值得怀疑的。特征层的融合技术更接近人类识别情感的过程，能更好地利用统计机器学习的技术，但是这种方法没有考虑到识别不同情感时，不同模式重要性的不同，这种方法不能最大程度地发挥多模式融合的优势。因此，情感识别技术的研究尚处于起步阶段，相应的基础理论和方法框架仍很欠缺。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于自适应选择策略的情感识别方法，通过自适应地选择与融合语音信号、面部表情信号和心电信号来实现情感的识别。

为解决上述技术问题，本发明所采取的技术方案是：一种基于自适应选择策略的情感识别方法，

获取多种情感信号；

对多种情感信号分别进行预处理及转换，得到多个通道的图像信号；

对多个通道的图像信号分别进行情感特征提取及情感类别的初步判识；

自适应选择多个通道图像信号的情感类别的初步判识结果；

采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别。

具体包括以下步骤：

步骤1、情感信号获取；