[发明专利]一种通过图像识别方式实现语音转写系统及方法

说明书

本发明涉及生物特征识别技术领域，为一种通过图像识别方式实现语音转写系统及方法，首先将检出的语音信号送到语音识别转写模块进行识别转写；其次对语音信号进行时频变换，将语音信号转变成语谱图，然后通过图像处理方式提取语谱图中的音素特征；最后利用深度学习方法将所述音素特征变换映射到语言文本空间的词汇。该方案不需要人工提取语音特征，不需要语言模型配合，降低了技术难度和工作量；直接对图像提取特征，实现图像特征到词汇的映射，实际上是基于词和词组建模，相对于按音素建模，鲁棒性更好；从图像中提取特征，相对于人工提取的声学特征而言，维度更高，针对性和区分性更强，识别正确率更高。

技术领域

本发明涉及生物特征识别技术领域，具体涉及一种通过图像识别方式实现语音转写系统及方法。

背景技术

传统的语音识别技术路线是采用声学知识和信号处理方法来解决语音识别问题。具体来说，就是把语音当作一种声音信号，通过信号处理的方法，提取声音中包含的声学要素，即音素特征，然后通过分类技术对各音素进行识别，再通过音素组合方法得到单词完整发音，最后通过查询单词发音表实现声音到文字的对应。其中，信号处理部分以音频信号为输入，通过消除噪声和信道失真对语音进行增强，将信号从时域转化为频域。特征提取部分是从信号处理后的结果中提取合适的有代表性的特征向量。声学模型部分将声学和发音学的知识进行整合，以特征提取部分生成的特征为输入，为可变长特征序列生成声学模型分数(即语音识别概率)。语言模型部分通过从训练语料中学习词之间的相互关系来估计假设词序列的可能性，又叫语言模型分数(即词序排列概率)。搜索解码部分针对给定的特征向量序列和若干假设词序列，计算声学模型分数和语言模型分数，将总体输出分数最高的词序列当作识别结果。

这种技术路线自然直接，很好理解，但是实现起来比较困难，一是在进行声学特征提取时，提取多少维度特征，提取什么特征，完全是人为决定的，具有很强的主观性；二是在以音素为单位进行分类时，由于音素粒度过细，对说话人嗓音、外界噪声的细微变化很敏感，鲁棒性差；三是识别出音素后仍需进行音素组合，既繁琐又会受到多音字、同音字的困扰。

发明内容

本发明提供了一种通过图像识别方式实现语音转写系统及方法，解决了以上所述的传统语音识别技术路线实现困难、复杂以及准确性不高的技术问题。

本发明为解决上述技术问题提供了一种通过图像识别方式实现语音转写系统，包括语音识别转写模块(Transfer)和转写结果解码模块(Decode)；

所述语音识别转写模块(Transfer)用于将语音信号转变成语谱图，然后通过图像处理方式提取语谱图中的音素特征，并利用深度学习方法将所述音素特征变换映射到语言文本空间中词汇的中标概率；

所述转写结果解码模块(Decode)用于从词汇空间中找到中标概率最大的词汇，实现语音到词汇的转写。

优选地，所述语音识别转写模块(Transfer)为CADC模型，所述CADC模型包括：

卷积神经网络CNN，用于提取语谱图中的区分性特征，且在卷积神经网络提取特征的过程中增加自注意力机制Attention；

深度神经网络DNN，用于实现特征映射，即将CNN所提取的语谱图特征映射成单词的中标概率；

CTC，用于实现可变长序列的对齐，计算两个序列的距离，目的是测算转写结果的正确性。

优选地，所述卷积神经网络CNN包括4个卷积单元和1个展平单元，4个卷积单元分别为第一卷积单元、第二卷积单元、第三卷积单元及第四卷积单元；

第一卷积单元，包含2个卷积运算和1个最大池化运算，其中，每一层卷积运算的卷积核个数为32个；

第二卷积单元，包含2个卷积运算和1个最大池化运算，其中，每一层卷积运算的卷积核个数为64个；