[发明专利]一种通过图像识别方式实现语音转写系统及方法

权利要求书

1.一种通过图像识别方式实现语音转写系统，其特征在于，包括语音识别转写模块(Transfer)和转写结果解码模块(Decode)；

所述语音识别转写模块(Transfer)用于将语音信号转变成语谱图，然后通过图像处理方式提取语谱图中的音素特征，并利用深度学习方法将所述音素特征变换映射到语言文本空间中词汇的中标概率；

所述转写结果解码模块(Decode)用于从词汇空间中找到中标概率最大的词汇，实现语音到词汇的转写。

2.根据权利要求1所述的通过图像识别方式实现语音转写系统，其特征在于，所述语音识别转写模块(Transfer)为CADC模型，所述CADC模型包括：

卷积神经网络CNN，用于提取语谱图中的区分性特征，且在卷积神经网络提取特征的过程中增加自注意力机制Attention；

深度神经网络DNN，用于实现特征映射，即将CNN所提取的语谱图特征映射成单词的中标概率；

CTC，用于实现可变长序列的对齐，计算两个序列的距离，目的是测算转写结果的正确性。

3.根据权利要求1所述的通过图像识别方式实现语音转写系统，其特征在于，所述卷积神经网络CNN包括4个卷积单元和1个展平单元，4个卷积单元分别为第一卷积单元、第二卷积单元、第三卷积单元及第四卷积单元；

第一卷积单元，包含2个卷积运算和1个最大池化运算，其中，每一层卷积运算的卷积核个数为32个；

第二卷积单元，包含2个卷积运算和1个最大池化运算，其中，每一层卷积运算的卷积核个数为64个；

第三卷积单元，包含2个卷积运算和1个最大池化运算，其中，每一层卷积运算的卷积核个数为128个；

第四卷积单元，包含2个卷积运算，其中，每一层卷积运算的卷积核个数为128个；

所述展平层包含3200个神经单元。

4.根据权利要求3所述的通过图像识别方式实现语音转写系统，其特征在于，每个所述卷积单元包括2个卷积层和1个最大池化层，所述卷积层的卷积核大小为(3，3)，所述最大池化层的步长为(2，2)，且最后一个所述卷积单元没有最大池化运算。

5.根据权利要求2所述的通过图像识别方式实现语音转写系统，其特征在于，在执行CNN的卷积运算之前，先执行Attention运算，以确定图像中的关键像素，每个Attention包含8个并行的计算头，分别对图像执行Attention运算后，再将结果相加后求平均，其结果作为CNN执行卷积运算的对象。

6.根据权利要求2所述的通过图像识别方式实现语音转写系统，其特征在于，所述深度神经网络DNN包括两层，第一层包含256个神经单元，第二层包含512个神经单元。

7.根据权利要求1所述的通过图像识别方式实现语音转写系统，其特征在于，所述系统还包括语音信号检测提取模块(Check)，所述语音信号检测提取模块(Check)用于从语音文件中检测并提取出语音信号，并将检出的语音信号送到语音识别转写模块。

8.一种通过图像识别方式实现语音转写方法，其特征在于，包括以下步骤：

S1，对语音信号进行时频变换，将语音信号转变成语谱图；

S2，对语谱图执行自注意力运算Attention；

S3，对自注意力运算结果执行卷积运算CNN，提取语谱图中的音素特征；

S4，利用深度学习方法将所述音素特征变换映射到单词中标概率；

S5，利用时间序列对齐方法，将单词中标概率映射到语言文本空间的词汇。

9.根据权利要求8所述的通过图像识别方式实现语音转写方法，其特征在于，所述S1之前还包括：从语音文件中检测提取出语音信号，并将检出的语音信号送到语音识别转写模块进行识别转写。