[发明专利]语言模型的训练方法、语音识别方法及相关装置

说明书

本申请实施例提供的语言模型的训练方法、语音识别方法及相关装置，方法包括：获得口语训练语料集和业务训练语料集；其中，口语训练语料集是在任意场景下采集的文本集；业务数据集是在直播场景下采集的主播用户对应的文本集；根据口语训练语料集，对初始的语言模型进行预训练，获得预训练的语言模型；根据业务训练语料集，对预训练的语言模型进行微调训练，获得训练后的语言模型。本申请的训练样本不仅有业务训练语料，还有口语语料，在训练过程中先用口语训练语料进行预训练再用业务训练语料进行微调训练的训练，从而使得获得的语言模型不仅能够适配业务场景，还能避免出现过拟合。

技术领域

本申请涉及语音识别领域，具体而言，涉及一种语言模型的训练方法、语音识别方法及相关装置。

背景技术

随着人工智能和自然语言处理技术的不断发展，语音识别技术也得到了快速地发展。采用语音识别技术可以自动将音频信号转变为相应的文本或命令，可以应用在普通的、日常的语音识别场景中，并取得较好的识别效果。

近年来，端到端语音识别(E2E-ASR)已经逐渐成为主流，但是在具体的应用场景中，端到端语音识别用到的语言模型的训练样本仅仅是业务数据，而业务数据通常呈现出短文本多长文本少的分布状态，训练过程容易过拟合，无法适配业务场景。

发明内容

为了解决上述技术问题，本申请的目的在于提供一种语言模型的训练方法、语音识别方法及相关装置。

本申请实采用的技术方案如下：

第一方面，本申请提供一种语言模型的训练方法，所述方法包括：获得口语训练语料集和业务训练语料集；其中，所述口语训练语料集是在任意场景下采集的文本集；所述业务数据集是在直播场景下采集的主播用户对应的文本集；根据所述口语训练语料集，对初始的语言模型进行预训练，获得预训练的所述语言模型；根据所述业务训练语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。

第二方面，本申请提供一种语音识别方法，所述方法包括：获得待识别语音；基于预训练的语音识别模型和语言模型，获得所述待识别语音对应的目标文本；其中，所述语言模型是基于口语训练语料集和业务训练语料集训练而成；所述口语训练语料集是在任意场景下采集的文本集；所述业务训练语料集是在直播场景下采集的主播用户对应的文本集。

第三方面，本申请提供一种语言模型的训练装置，包括：获得模块，用于获得口语训练语料集和业务训练语料集；其中，所述口语训练语料集是在任意场景下采集的文本集；所述业务数据集是在直播场景下采集的主播用户对应的文本集；训练模块，用于根据所述口语训练语料集，对初始的语言模型进行预训练，获得预训练的所述语言模型；根据所述业务训练语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。

第四方面，本申请提供一种语音识别装置，包括：获得模块，用于获得待识别语音；识别模块，用于基于预训练的语音识别模型和语言模型，获得所述待识别语音对应的目标文本；其中，所述语言模型是基于口语训练语料集和业务训练语料集训练而成；所述口语训练语料集是在任意场景下采集的文本集；所述业务数据是在直播场景下采集的主播用户对应的文本集；所述口语训练语料集和所述业务训练语料集中均具有长度大于预设长度的文本。

第五方面，本申请提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的方法或者第二方面所述的方法。

第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法或者第二方面所述的方法。