[发明专利]粤英混合语音识别方法、系统、设备及存储介质

说明书

本发明提供了粤英混合语音识别方法、系统、设备及存储介质，该方法包括：将一待识别音频进行语种判断，当判断结果为粤英混合音频时，采集所述粤英混合音频数据；建立粤英混合发音词典，联合所述粤英混合音频数据建立训练样本集；以及将所述训练样本集输入语音识别模型进行训练，并保存训练好的粤英混合语音识别模型。本发明能够有效提升在线旅行社场景下粤语用户的服务体验，快速准确地转录粤英混合音频内容，辅助客服以及下游任务及时发现信息的内在缺陷，节省运营维护成本，保证服务的及时性和准确性。

技术领域

本发明涉及语音识别领域，具体地说，涉及一种粤英混合语音识别方法、系统、设备及存储介质。

背景技术

随着人工智能技术的快速发展，机器人的智能化程度越来越高，在OTA(OnlineTravel Agency，在线旅行社)领域中，智能外呼机器人是尤其重要的，语音交互方式在智能对话、自动拨打、智能分析和24h高服务效率等任务具有较强的优势，这极大程度的减轻了客服人员的工作强度，提高了服务质量，其中语音识别是语音交互的重要一环，语音识别系统性能的好坏决定着下游任务的表现，目前，端到端语音识别框架是较为主流的，通过利用大数据和深度学习的优势提高模型的识别率，比如基于Transformer和Conformer的语音识别模型，但其使用的多头注意力(Multi-Head Attention，MHA)模块具有共同的缺点，在计算过程中平方时间复杂度、高内存占有率、收敛速度慢以及参数量过多等问题，并且当前对于粤语端到端语音识别的研究相对较少，粤语词通常具有粤英混合问题。

因此，本发明提供了一种粤英混合语音识别方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种粤英混合语音识别方法、系统、设备及存储介质，克服了现有技术的困难，本发明能够有效提升在线旅行社场景下粤语用户的服务体验，快速准确地转录粤英混合音频内容，辅助客服以及下游任务及时发现信息的内在缺陷，节省运营维护成本，保证服务的及时性和准确性。

本发明的实施例提供一种粤英混合语音识别方法，包括以下步骤：

将一待识别音频进行语种判断，当判断结果为粤英混合音频时，采集所述粤英混合音频数据；

建立粤英混合发音词典，联合所述粤英混合音频数据建立训练样本集；以及

将所述训练样本集输入语音识别模型进行训练，并保存训练好的粤英混合语音识别模型。

优选地，所述将一待识别音频进行语种判断，当判断结果为粤英混合音频时，采集所述粤英混合音频数据，包括：

将一待识别音频进行分词，并判断所述各分词的语种；

计算所述语种对应的音频占所述待识别音频的比例；

当粤语和英语对应的所述比例同时达到预设阈值时，判断所述待识别音频为粤英混合音频；以及

当判断结果为粤英混合音频时，采集所述粤英混合音频数据，否则丢弃所述音频。

优选地，所述建立粤英混合发音词典，联合所述粤英混合音频数据建立训练样本集，包括：

去除不符合模型训练规范的所述粤英混合音频数据，标注符合模型训练规范的所述粤英混合音频数据；

提取所述粤英混合音频数据集的声学特征，并对所述声学特征进行数据增强；以及

将所述粤英混合音频数据集和所述粤英混合发音词典联合建立训练样本集。

优选地，所述将所述训练样本集输入语音识别模型进行训练，并保存训练好的粤英混合语音识别模型，包括：

将所述训练样本集输入基于T-MHA算法的Conformer语音识别模型，对所述语音识别模型进行训练；