[发明专利]面向交互的语音语料处理方法及装置

说明书

技术领域

本发明涉及软件技术领域，具体涉及一种面向交互的语音语料处理方法及装置。

背景技术

语音情感识别和文本及图像的识别有相同的特点，在学习方法中分有监督学习、半监督学习和无监督学习三种。现阶段大部分语音情感识别方法：首先用传统的方法提取包括语速、韵律强度、梅尔频率倒谱系数等特征；然后用分类器进行分类，包括支持向量机、高斯模型和隐马尔可夫模型等分类方法。

类似的情感识别方法已经取得了许多成果，但仍有一些不足之处。在目前的语音情感识别中，具体是哪些特征对于情感倾向的分类影响较大还尚不明确，对于复杂的语音语调识别方面也仍然尚有许多不明之处，适合语料的缺少也是模型训练的一大难题。

近年来，利用网络模型来学习语音情感倾向成为了热点研究问题。现有的基于网络模型的语音情感识别方法主要包括CNN、LSTM等，更有将传统的CNN和LSTM相结合的方法，在语音情感识别上取得了很好的效果。

然而，在实施本发明实施例的过程中发明人发现，对于现有的语音情感识别模型，由于用于进行训练的语料数量有限、适当语料的收集难度较大，导致语音情感识别模型的识别能力有限。

发明内容

本发明实施例的目的在于提供一种面向交互的语音语料处理方法及装置。

第一方面，本发明实施例提供了一种面向交互的语音语料处理方法，包括：

对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；

利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；

利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；

将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。

可选地，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：

对所述语音片段的时频图进行翻转处理。

可选地，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：

对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；

将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；

对拼接后的时频图进行平移，得到若干个平移后的时频图。

可选地，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：

将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；

调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。

第二方面，本发明实施例又提供了一种面向交互的语音语料处理装置，包括：

时频图获取单元，用于对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；

特征学习单元，用于利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；

压缩单元，用于利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；

深层学习单元，用于将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。

可选地，在特征学习单元所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括：

数据增强单元，用于对所述语音片段的时频图进行翻转处理。

可选地，在特征学习单元利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元，用于：

对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；

将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；

对拼接后的时频图进行平移，得到若干个平移后的时频图。

可选地，在特征学习单元所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元，用于：