[发明专利]基于文本数据的纠错模型的训练方法及装置

说明书

本发明提供了一种基于文本数据的纠错模型的训练方法及装置。该训练方法包括：获取第一文本和第二文本，第一文本是通过语音识别获得的语音文本，第二文本是不通过语音识别获得的文本；对第一文本进行统计和/或分析，获取第一文本的错误模式；根据错误模式，修改第二文本，以获取第三文本，其中第三文本用于模拟第一文本且第三文本和第一文本具有相同的错误模式；利用第一文本、第二文本和第三文本，对文本纠错模型进行训练。

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于文本数据的纠错模型的训练方法及装置。

背景技术

随着人工智能相关技术的日益成熟，近年来，语音识别技术取得显著进步，语音识别系统被广泛应用于工业、通信、医疗、教育、家庭服务和电子产品等多种领域。但是，由于语言的同音词、停顿、组词和断句的不同、不同音频的质量参差不齐以及语音识别系统本身的识别能力有限，令语音识别系统识别出的语音文本存在识别错误的可能，从而无法达到完全正确的识别效果。因此，目前的做法是对语音识别结果进行纠错，以提高语音识别结果的准确性。

语音识别纠错模型(在本文中也可被称为语音文本纠错模型或简称为纠错模型)的输入信息是基于语音识别系统输出的语音文本，输出的是经过纠错的语音文本。语音识别纠错模型例如可以是FastCorrect、FastCorrect 2等。此种语音识别纠错模型通常需要预先进行训练，训练过程依赖于音频和音频所对应的正确文本，但是音频和对应的正确文本的获取成本较高、数量有限，例如语音文本的数量仅有数万条或数十万条，因此纠错模型存在训练不充分的情况。

发明内容

本发明的目的在于提供一种基于文本数据的纠错模型的训练方法及装置，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，本发明提供了一种基于文本数据的纠错模型的训练方法，包括：获取第一文本和第二文本，第一文本是通过语音识别获得的语音文本，第二文本是不通过语音识别获得的文本；对第一文本进行统计和/或分析，获取第一文本的错误模式；根据错误模式，修改第二文本，以获取第三文本，其中第三文本用于模拟第一文本且第三文本和第一文本具有相同的错误模式；利用第一文本、第二文本和第三文本，对文本纠错模型进行训练。

在一种可选地实施方式中，错误模式包括至少一种错误类型、和至少一种错误类型中的每种错误类型的出现次数或出现频率，至少一种错误类型包括替换错误类型、删除错误类型和增加错误类型中的至少一者。

在一种可选地实施方式中，对第一文本进行统计和/或分析，获取第一文本的错误模式，包括：对第一文本及对应的正确文本进行比较，获取至少一种错误类型；统计至少一种错误类型中的每种错误类型的出现次数或出现频率。

在一种可选地实施方式中，利用第一文本、第二文本和第三文本，对文本纠错模型进行训练，包括：使用第一训练集，对文本纠错模型进行第一轮训练，第一训练集由第三文本和第二文本组成；使用第二训练集，对完成第一轮训练的文本纠错模型进行第二轮训练，第二训练集由第一文本和对应的正确文本组成。

在一种可选地实施方式中，利用第一文本、第二文本和第三文本，对文本纠错模型进行训练，包括：使用第三训练集，对文本纠错模型进行训练，第三训练集由第三文本及第二文本对和第一文本及对应的正确文本对组成。

第二方面，本发明提供了一种基于文本数据的纠错模型的训练装置，包括：获取单元，用于获取第一文本和第二文本，第一文本是通过语音识别获得的语音文本，第二文本是不通过语音识别获得的文本；统计及分析单元，用于对第一文本进行统计和/或分析，获取第一文本的错误模式；修改单元，用于根据错误模式，修改第二文本，以获取第三文本，其中第三文本用于模拟第一文本且第三文本和第一文本具有相同的错误模式；训练单元，用于利用第一文本、第二文本和第三文本，对文本纠错模型进行训练。