[发明专利]一种应用于移动终端的语音情感识别方法

说明书

技术领域

本发明涉及一种人类情感识别方法，主要涉及信号处理、模式识别和情感计算领域。

背景技术

随着计算机运算能力不断提高，人工智能及模式识别算法不断发展，让计算机拥有与人交流的能力已不再遥不可及。在人与人的日常交流中，语音作为一种主要信息载体，承载着大量说话人所表达的信息。传统的语音识别算法仅关注语音的文字内容及其含义，而忽略了语音中包含的情感。

情感计算是研究计算机对人类情感的感知和表达等方式方法的研究领域。情感在人际交流中起着弥足轻重的作用，通过情感交流，交谈双方可以加深彼此了解及信任，以及创造更和谐的交流环境等。情感计算赋予计算机以感受人类情感的能力。由于说话人语音特征会随着其情绪状态而产生不同变化，其中包含大量情感信息，因此借助模式识别等技术，通过分析语音信号，发掘与情感相关的信息并判断说话人的情感状态的语音情感识别技术在情感计算和人机交互中均具有重要意义。

目前针对语音情感识别技术的研究多停留在理论阶段，实际应用尚少。此外，由于识别精度和普适程度往往难以平衡，现有的理论研究多偏重其中一点，即采用说话人相关的识别方法提高识别率，以及说话人无关的识别方法提高普适性。而在实际应用中针对这一问题仍缺乏行之有效的解决方法。

将情感识别方法应用于如智能手机、平板电脑等移动终端，可以令使用者与设备之间的交互更加自然和谐，使屏幕两端的用户以直观的方式表达和感受对方的情感；同时也能够提供基于移动设备的用户情感监测平台，以用户负面情感为触发信息实时监测危险事件，保障人身安全。

发明内容

本发明为一种用于移动计算平台的语音情感识别的方法，通过处理语音数据，识别用户当前通过语音表达的主要情感。通过结合说话人无关和说话人相关两种语音情感识别方式，极大提高了本方法在应用过程中的识别精度和普适能力。

语音情感识别方法包括如下步骤，如图1所示：

a)通过输入预定的录音脚本，记录环境信息，获取语音数据，对语音数据作可用性判别及情感类别划分等步骤，录制情感语音数据库，作为情感识别器的基准；

b)通过提取情感语音数据库中语音数据的特征信息，选取特定的特征组合，经特征降维构成训练集；建立多层结构的情感识别器，以训练集训练情感识别器等步骤建立和训练说话人无关识别器；

c)通过获取数据库中的语音数据对应的个人信息，构建个性化情感模型，建立情感识别器，然后根据数据库中的语音数据校准情感识别器内部参数，训练情感识别器，从而获得说话人相关识别器。

d)通过语音采集设备获取用户语音数据；

e)对该用户的语音数据进行分析，判断该语音数据是否能被说话人相关识别器处理，若是，则使用说话人相关识别器进行情感识别，并进行步骤g)；若否，则进行步骤f)；

f)使用说话人无关识别器进行情感识别；

g)得到情感识别结果。

本发明的特点在于其所使用的情感识别方法具有较高的识别准确率，一般情况下不低于80％。该方法所建立的模型通过采用一定数量的特殊参数(特征)将数据库中的条目同某种特定情绪相关联的方式识别情感。为了追求更高的可信度及精度，所用的特征以统计形式表示。本系统由录音设备、处理器、传输系统及具备情感识别能力的电子接收设备等构成。该系统可以以图像、文字等数据形式传输识别结果。在开始使用前，本系统需要采集说话人的情感语音进行简短的校准。

附图说明

图1为本语音情感识别方法流程图

图2为本方法所提取的特征之一，逐帧自相关密度；

图3为多层识别器结构示意图；

图4为由支持向量机获得的特征在高维空间中的可分性表达；

图5为多层人工神经网络拓扑图；

图6为多层识别器各层识别率结果；

图7为一种典型应用场景；

图8为用以表达正向情感的图像序列；

图9为用以表达说话人情感状态的花瓣图，图中每一片“花瓣”的长度代表一种情感的强度；从左至右依次表示“较强的情绪平衡状态”，“较弱的情绪平衡状态”及“情绪失衡状态”；

图10为各种情感在AV情感空间中的表示；

图11情感识别算法的核心分类决策系统模型示意图；

具体实施方式