[发明专利]基于中英文混合词典的语音识别方法及装置

说明书

本发明提出一种基于中英文混合词典的语音识别方法及装置，其中，方法包括：获取国际音标IPA标注的中英文混合词典，中英文混合词典包括：中文词典和经过中式英语修正的英文词典；将中英文混合词典作为训练词典，以一层卷积神经网络CNN加上五层时间递归神经网络LSTM为模型，以音节或词为目标，以联结主义时间分类器CTC为训练准则对模型进行训练，得到训练后的CTC声学模型；结合训练后的CTC声学模型对中英文混合语言进行语音识别。本实施例中，采用包括中文词典和经过中式英语修正的英文词典的中英文混合词典进行训练，其中英文单词覆盖全面且能识别中式英文，结合CTC声学模型的使用进一步提高了中英文混合语言识别的准确度。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种基于中英文混合词典的语音识别方法及装置。

背景技术

目前，随着生活的全球化，使用混合语言交流的现象已经成为一种普遍现象。据统计，讲多语言的人要多于讲单语言的人。混合语言之间的声学和语言之间的复杂性给语音识别带来挑战。因此，混合语言声学模型的研究是一个重要的研究方向。

混合语音识别技术是指利用中英文混合词典，对混合语言声学模型进行训练，得到语音识别模型。目前，中英文混合词典的获取方式是，获取包括声韵母标注的音素集的中文词典，将一些英文按照声韵母标注的方式加入到中文词典中，形成中英文混合词典。其中，英文单词标注覆盖不全面，采用人工标注，费时费力。混合语言声学模型为深度神经网络(Deep Neural Networks,DNN)DNN，卷积神经网络(deep convolutional neuralnetworks，CNN)，时间递归神经网络(Long Short-Term Memory，LSTM)声学模型等，准确度不够高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于中英文混合词典的语音识别方法，用于解决现有技术中语音识别准确度低的问题。

本发明的第二个目的在于提出一种基于中英文混合词典的语音识别装置。

本发明的第三个目的在于提出另一种基于中英文混合词典的语音识别装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种基于中英文混合词典的语音识别方法，包括：

获取国际音标IPA标注的中英文混合词典，所述中英文混合词典包括：中文词典和经过中式英语修正的英文词典；

将所述中英文混合词典作为训练词典，以一层卷积神经网络CNN加上五层时间递归神经网络LSTM为模型，以音节或词为目标，以联结主义时间分类器CTC为训练准则对所述模型进行训练，得到训练后的CTC声学模型；

结合训练后的CTC声学模型对中英文混合语言进行语音识别。

本发明实施例的基于中英文混合词典的语音识别方法，通过获取国际音标IPA标注的中英文混合词典，中英文混合词典包括：中文词典和经过中式英语修正的英文词典；将中英文混合词典作为训练词典，以一层卷积神经网络CNN加上五层时间递归神经网络LSTM为模型，以音节或词为目标，以联结主义时间分类器CTC为训练准则对所述模型进行训练，得到训练后的CTC声学模型；结合训练后的CTC声学模型对中英文混合语言进行语音识别。本实施例中，采用包括中文词典和经过中式英语修正的英文词典的中英文混合词典进行训练，其中英文单词覆盖全面且能识别中式英文，结合CTC声学模型的使用进一步提高了中英文混合语言识别的准确度。

为达上述目的，本发明第二方面实施例提出了一种基于中英文混合词典的语音识别装置，包括：