[发明专利]基于神经网络的音频信号时序处理方法、装置及系统及计算机可读存储介质

说明书

本发明实施例公开了一种基于神经网络的音频信号时序处理方法、装置及系统及计算机可读存储介质，涉及语音数据处理领域，所述方法包括：创建组合网络模型，所述组合网络模型包括第一网络和第二网络；获取音频信号的时频图；对所述时频图进行优化，得到网络输入数据；利用网络输入数据对第一网络进行训练，并进行特征提取，得到多维特征图；利用所述多维特征图组建新的特征向量；将所述新的特征向量输入第二网络进行训练。本发明实施例能够解决现有基于时间序列的映射变换模型不能满足多模态信息的应用需求的问题。

技术领域

本发明实施例涉及语音数据处理领域，具体涉及一种基于神经网络的音频信号时序处理方法、装置及系统。

背景技术

神经网络在人工智能领域快速发展，推动了图像、文本、语音等多领域的信息交叉融合，构成一种多模态信息，多模态信息中的共生或共现的单模态信息间存在相关性。在研究其相关性的同时，由于多模态数据的采集环境，数据格式的差异性，造成多领域信息间的潜在相关性不容易被观测到，需要设计合适的模型学习这些数据间潜在且复杂的映射关系。

但是目前基于时间序列信息的深度神经网络模型中，将时间序列的语音数据映射对应文本内容及说话者声腔发音动作的映射变换模型还较少，尚不能满足多模态信息在对象识别、信息检索、人机对话等与智能系统及人工智能相关的领域的应用需求。

发明内容

本发明实施例的目的在于提供一种基于神经网络的音频信号时序处理方法、装置及系统，用以解决现有基于时间序列的映射变换模型不能满足多模态信息的应用需求的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供一种基于神经网络的音频信号时序处理方法，

所述方法包括：创建组合网络模型，所述组合网络模型包括第一网络和第二网络；获取音频信号的时频图；对所述时频图进行优化，得到网络输入数据；利用所述网络输入数据对第一网络进行训练，并进行特征提取，得到多维特征图；利用所述多维特征图组建新的特征向量；将所述新的特征向量输入第二网络进行训练。

进一步地，在获取所述音频信号的时频图之后，所述方法还包括：依次平移所述第一网络的截取窗口，截取等长度的时频图，截取的时频图长度与所述第二网络的时间窗口长度相同。

进一步地，对所述时频图进行优化的方法包括：将所述时频图、时频图的一阶差分图像和二阶差分图像组成一幅三维图像数据，对所述三维图像数据进行切割。

进一步地，所述三维图像数据的横轴为时间维度，竖轴为频率维度，纵轴为特征维度，对所述三维图像数据进行切割的方法包括：平行横轴，沿高频至低频的方向切掉三分之一的频率维度，保留三分之二的低频三维图像数据作为网络输入数据。

进一步地，在所述第一网络进行特征提取时，仅在三维图像数据的频率维度做下采样，时间维度保持网络输入数据的时序长度。

进一步地，所述组建新的特征向量的方法包括：按照时间序列切分所述多维特征图，将不同维度下同一时间戳的特征值组成一个新的特征向量，再将每个新的特征向量按照时间序列先后排列，依次传入第二网络进行训练。

进一步地，所述第一网络包括卷积神经网络CNN，所述第二网络包括循环神经网络RNN。

第二方面，本发明实施例还提供一种基于神经网络的音频信号时序处理装置，

所述装置包括：音频信号优化单元和模型创建单元：

模型创建单元创建组合网络模型，所述组合网络模型包括第一网络和第二网络；

音频信号优化单元获取音频信号的时频图，依次平移第一网络的截取窗口，截取等长度的时频图，截取的时频图长度与第二网络的时间窗口长度相同；并对所述时频图进行优化，得到网络输入数据；