[发明专利]一种基于主辅网络的语音情感特征融合方法及系统

权利要求书

1.一种基于主辅网络的语音情感特征融合方法，其特征在于，所述方法包括：

步骤S1：确定训练集和测试集；

步骤S2：利用所述训练集确定带有参数的主网络模型、带有参数的辅助网络模型和辅助参数；

所述主网络模型包括主网络模型上半部分和主网络模型下半部分，所述主网络模型下半部分包括加入注意力机制的两层双向长短时记忆单元BLSTM网络和自适应时间池化算法；所述主网络模型上半部分包括两层多层全连接层DNN；

所述辅助网络模型包括两层多层全连接层DNN；

所述自适应时间池化算法计算公式如下：

其中，为经过第二个BLSTM层后第时刻的输出结果，，为取值范围，D表示的维度，等于80，T为BLSTM网络时间步长，等于40，为加权系数，通过网络学习得到，具体通过以下式子算出：

其中，为Sigmoid函数，和分别为系数矩阵，为系数向量,代表转置，、和均为网络学习参数，先通过截断正态分布随机初始化，再和识别网络通过梯度下降算法训练优化得到；

步骤S3：将所述测试集中各所述语音情感数据对应的多个第一特征输入带有参数的所述主网络模型的下半部分，获得各所述语音情感数据对应的主网络高层特征；

步骤S4：将所述测试集中各所述语音情感数据对应的第二特征输入带有参数的辅助网络模型，获得各所述语音情感数据对应的辅助网络高层特征；

步骤S5：将所述主网络高层特征、所述辅助参数和所述辅助网络高层特征进行特征融合，确定各所述语音情感数据对应的主辅网络融合特征；

步骤S6：将各所述语音情感数据对应的主辅网络融合特征输入带有参数的主网络模型上半部分，获得融合特征；

确定训练集和测试集，具体包括：

步骤S11：确定语音情感数据库；所述语音情感数据库包括363条语音情感数据；

步骤S12：根据所述语音情感数据库确定标准数据库；

步骤S13：对所述标准数据库中各所述语音情感数据进行特征提取，获得多个语音MFCC段特征和多个语音全局特征；

步骤S14：分别对各所述语音情感数据对应的多个所述语音MFCC段特征和所述语音全局特征进行标准化处理，分别获得第一特征和第二特征；

步骤S15：选取243条所述语音情感数据对应的第一特征和第二特征作为训练集合；将剩余的120条所述语音情感数据对应的第一特征和第二特征作为测试集；

所述语音全局特征包括能量、语速、过零率在内的韵律特征和以共振峰为代表的音质特征以及以MFCC为代表的谱特征，共98维，经PCA处理之后变成70维。

2.根据权利要求1所述的基于主辅网络的语音情感特征融合方法，其特征在于，对所述标准数据库中各所述语音情感数据进行特征提取，获得多个语音MFCC段特征和多个语音全局特征，具体包括：

步骤S131：对所述标准数据库中各所述语音情感数据进行MFCC帧特征提取，获得多个语音MFCC帧特征；

步骤S132：对多个所述语音MFCC帧特征进行平均处理后，获得多个语音MFCC段特征；

步骤S133：对所述标准数据库中各所述语音情感数据进行全局特征提取，获得多个语音全局特征。

3.根据权利要求1所述的基于主辅网络的语音情感特征融合方法，其特征在于，所述根据所述语音情感数据库确定标准数据库，具体包括：

步骤S121：判断所述语音情感数据库中各所述语音情感数据是否大于设定语音帧长；如果各所述语音情感数据大于设定语音帧长，则采取截断操作，使各所述语音情感数据等于设定语音帧长，并将处理后的所述语音情感数据放入所述标准数据库；如果各所述语音情感数据小于设定语音帧长，则采取补零操作，使各所述语音情感数据等于设定语音帧长，并将处理后的所述语音情感数据放入所述标准数据库；如果各所述语音情感数据等于设定语音帧长，则直接将各所述语音情感数据放入所述标准数据库。