[发明专利]一种基于脉冲神经网络聚合标签学习的语音识别方法

说明书

本发明涉及语音信号处理领域，尤其涉及一种基于脉冲神经网络聚合标签学习的语音识别方法，包括以下步骤：步骤1：将快速时变的语音信号编码成为脉冲序列；步骤2：采用基于动态阈值的聚合标签学习算法训练双层脉冲神经网络；步骤3：将测试语音输入到训练后的脉冲神经网络，对输出神经元进行解码得到识别结果。本发明实现方法简单，充分利用脉冲神经网络强大的时序信息处理能力和低功耗的特性，可以实时、准确的识别语音信号。

技术领域

本发明涉及语音信号处理领域，尤其涉及一种基于脉冲神经网络聚合标签学习的语音识别方法。

背景技术

智能语音被誉为人工智能皇冠上的“明珠”，随着深度学习技术的突破，大数据技术以及自然语言理解能力的提升，带动了一波产业热潮，除了在教育、客服、电信等传统行业之外，还开辟出了车载、家居、医疗、智能硬件等语音技术应用新天地。目前，国内外几乎所有的科技巨头都相继进入了智能语音市场，国外有IBM的Watson、Google Now、苹果的Siri、微软的Cortana、Facebook的Message Platform、亚马逊的Aleax等，国内有阿里的天猫精灵、百度的度秘、腾讯的微信语音，以及科大讯飞、华为、小米、云知声、依图等基于深度神经网络技术的智能语音技术和产品。但是，随着用户需求的快速增长，基于深度网络模型的智能语音系统的弊端逐渐暴露出来，并且集中体现在以下三个方面：计算量大且设备功耗高，难以满足用户的实时性要求，基于云计算的语音服务难以保护用户隐私及数据安全。

脉冲神经网络作为类脑计算的核心领域，被誉为“第三代神经网络模型”，它能够有效模拟生物神经元之间信息随时间连续传递的动力系统。它的脉冲信息传递机制恰好可以弥补深度学习在模拟时间特性上的缺陷。此外，与传统的人工神经网络ANN相比，脉冲神经网络以异步的、事件驱动的方式进行工作，更易于在硬件上实现分布式计算与信息存储，具有低功耗和强大的时序信号处理能力。研究人员初步探索了基于脉冲神经网络SNN的智能语音处理模型并希望逐步改善现有语音信息处理系统所面临的问题。比如用自组织映射SOM先对原始音频数据提取特征，然后再进行脉冲编码，进而利用SNN网络对不同的语音信号进行分类。虽然基于SNN的智能语音识别有了初步的成果，但是目前所利用的SNN编码效果不好，学习算法低效，不能处理真实环境中复杂的语音数据。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于脉冲神经网络聚合标签学习的语音识别方法，其具体技术方案如下：

一种基于脉冲神经网络聚合标签学习的语音识别方法，包括以下步骤：

步骤1：将快速时变的语音信号编码成为脉冲序列；

步骤2：采用基于动态阈值的聚合标签学习算法训练双层脉冲神经网络；

步骤3：将测试语音输入到训练后的脉冲神经网络，对输出神经元进行解码得到识别结果。

进一步的，所述步骤1通过以下子步骤来实现：

（1.1）原始的语音波形通过一个基于CQT：Constant-Q变换的耳蜗滤波器组，提取得到频谱信息，具体的，设每一长度为的帧窗中的频谱采样能量为，则每个帧的频谱能量为，则得到频谱图；然后，利用大脑听觉系统的采样机制，对于该频谱图进行频域遮掩和时域遮掩；

（1.2）对于频谱图的M条频带，每一条频带的能量曲线都被单独编码成脉冲模式，当能量曲线穿越过某一预设的阈值时，该阈值所对应的神经元在该时间发放脉冲，而且，同一阈值但不同的穿越方向：从上往下或者从下往上，对应两个不同的编码神经元；

（1.3）将两种穿越方式整合在一起，获得一个有效的稀疏时间脉冲模式。

进一步的，所述步骤（1.3）具体为：

每个频带能量曲线由31个神经元编码，其中上穿和下穿各自占 15 个神经元，每一对上穿和下穿神经元都共享同一个编码阈值，此外还有一个顶峰神经元，当频谱能量达到最大值时，顶峰神经元发放脉冲，因此，对于每一段语音信号，使用(15×2 + 1)×M个神经元进行编码，由此获得一个有效的稀疏时间脉冲模式。