[发明专利]基于神经网络的音频信号时序处理方法、装置及系统及计算机可读存储介质

权利要求书

1.一种基于神经网络的音频信号时序处理方法，其特征在于，所述方法包括：

创建组合网络模型，所述组合网络模型包括第一网络和第二网络；

获取音频信号的时频图，依次平移所述第一网络的截取窗口，截取等长度的时频图，截取的时频图长度与所述第二网络的时间窗口长度相同；

对所述时频图进行优化，将所述时频图、时频图的一阶差分图像和二阶差分图像组成一幅三维图像数据，对所述三维图像数据进行切割，得到网络输入数据；

利用所述网络输入数据对第一网络进行训练，并进行特征提取，得到多维特征图；

按照时间序列切分所述多维特征图，将不同维度下同一时间戳的特征值组成一个新的特征向量，再将每个新的特征向量按照时间序列先后排列，依次传入第二网络进行训练。

2.如权利要求1所述的一种基于神经网络的音频信号时序处理方法，其特征在于，所述三维图像数据的横轴为时间维度，竖轴为频率维度，纵轴为特征维度，对所述三维图像数据进行切割的方法包括：平行横轴，沿高频至低频的方向切掉三分之一的频率维度，保留三分之二的低频三维图像数据作为网络输入数据。

3.如权利要求1所述的一种基于神经网络的音频信号时序处理方法，其特征在于，在所述第一网络进行特征提取时，仅在三维图像数据的频率维度做下采样，时间维度保持网络输入数据的时序长度。

4.如权利要求1所述的一种基于神经网络的音频信号时序处理方法，其特征在于，所述第一网络包括卷积神经网络CNN，所述第二网络包括循环神经网络RNN。

5.一种基于神经网络的音频信号时序处理装置，其特征在于，所述装置包括音频信号优化单元和模型创建单元：

模型创建单元创建组合网络模型，所述组合网络模型包括第一网络和第二网络；

音频信号优化单元获取音频信号的时频图，依次平移第一网络的截取窗口，截取等长度的时频图，截取的时频图长度与第二网络的时间窗口长度相同；并对所述时频图进行优化，将所述时频图、时频图的一阶差分图像和二阶差分图像组成一幅三维图像数据，对所述三维图像数据进行切割，得到网络输入数据；

模型创建单元利用所述网络输入数据对第一网络进行训练，并进行特征提取，得到多维特征图；按照时间序列切分所述多维特征图，将不同维度下同一时间戳的特征值组成一个新的特征向量，再将每个新的特征向量按照时间序列先后排列，依次传入第二网络进行训练。

6.一种基于神经网络的音频信号时序处理系统，其特征在于，所述系统包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令被一种基于神经网络的音频信号时序处理系统用于执行如权利要求1-4任一项所述的方法。