[发明专利]基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置

说明书

本发明公开了一种基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置，方法包括：(1)获取训练数据库和测试数据库，其中，训练语音数据库中包含有若干语音片段和对应的语音情感类别标签，测试数据库中仅包含有若干待识别语音片段；(2)利用若干声学低维描述子对语音片段进行处理并进行统计，将统计得到的每个信息作为一个情感特征，并将多个情感特征组成向量作为对应语音片段的特征向量；(3)建立基于联合分布的最小二乘回归模型，利用训练数据库与测试数据库联合训练，得到稀疏投影矩阵；(4)对于待识别语音片段，按照步骤(2)得到特征向量，并采用学习到的稀疏投影矩阵，得到对应的语音情感类别标签。本发明可以适应不同环境，准确率更高。

技术领域

本发明涉及语音情感识别，尤其涉及一种基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置。

背景技术

语音情感识别的目的在于使得机器能够拥有足够智能从说话者的语音中提取它的情感状态(如高兴、恐惧、悲伤等)，是人机交互中重要的一个环节，拥有巨大的研究潜能与发展前景。如结合驾驶员的语音、表情和行为信息检测其精神状态，可以及时提醒驾驶员集中注意力避免危险驾驶；在人机交互中检测对话人的语音情感可以使得对话更加流畅，更加照顾对话者的心理，贴近认知；可穿戴设备可以依据穿戴者的情感状态做出更为及时和贴心的反馈；同时，在课堂教学、老师陪护等各种各样的领域，语音情感识别都在发挥着越来越重要的作用。

传统的语音情感识别都在同一个语音数据库上进行训练和测试，训练和测试的数据都遵循着同样的分布。而在实际生活中，训练出的模型必须面对不同的环境，发声背景中也会掺杂着各种各样的噪音。因此跨数据库语音情感识别面临着很大的挑战。如何使训练出的模型面对不同的环境都拥有良好的适应性，成为学术和工业界需要解决的问题。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置，本发明对于不同环境都拥有良好的适应性，识别结果更准确。

技术方案：本发明所述的基于联合分布最小二乘回归的跨数据库语音情感识别方法包括：

(1)获取两个语音数据库，分别作为训练数据库和测试数据库，其中，训练语音数据库中包含有若干语音片段和对应的语音情感类别标签，而测试数据库中仅包含有若干待识别语音片段；

(2)利用若干声学低维描述子对语音片段进行处理并进行统计，将统计得到的每个信息作为一个情感特征，并将多个情感特征组成向量作为对应语音片段的特征向量；

(3)建立基于联合分布的最小二乘回归模型，利用已知标签的训练数据库与未知标签的测试数据库对其联合训练，得到一个连接语音片段与语音情感类别标签之间的稀疏投影矩阵；

(4)对于测试数据库中待识别语音片段，按照步骤(2)得到特征向量，并采用学习到的稀疏投影矩阵，得到对应的语音情感类别标签。

进一步的，步骤(2)具体包括：

(2-1)对于每个语音片段，计算其16个声学低维描述子值和对应增量参数；所述16个声学低维描述子分别为：时间信号过零率、帧能量均方根、基音频率、谐波信噪比以及梅尔顿频率倒谱系数1-12；

(2-2)对于每个语音片段，分别对其16个声学低维描述子进行12种统计函数处理，所述12种统计函数分别为求平均值、标准差、峰态、偏度、最大值、最小值、相对位置、相对范围，以及两个线性回归系数及其均方误差；

(2-3)将统计得到的每个信息作为一个情感特征，并将多个情感特征组成向量作为对应语音片段的特征向量。

进一步的，步骤(3)建立的最小二乘回归模型为：