[发明专利]插入噪声的语料生成方法、装置、设备、可读存储介质

说明书

本公开提供了一种插入噪声的语料生成方法、装置、设备、可读存储介质。所述插入噪声的语料生成方法，包括：获取待处理语料，其中，所述待处理语料中包括至少一个词语；对于所述至少一个词语中的词语，获取所述词语的特征信息；基于所述特征信息，确定对应于所述词语的噪声；以及在所述待处理语料中插入所述对应于所述词语的噪声，生成所述插入噪声的语料。

技术领域

本公开涉及基于人工智能技术的自然语言处理领域，更具体地，涉及一种插入噪声的语料生成方法、装置、设备、可读存储介质。

背景技术

自然语言处理(NLP)是人工智能技术重要的应用领域之一。自然语言处理能够让计算机像人一样能够阅读文字，理解文字背后的含义，从而完成机器翻译、自动问答、信息检索、情感分析、自动文本摘要等具体应用。机器翻译作为自然语言处理的一个分支，用于基于神经网络实现机器翻译，诸如中译英、英译中等不同语言之间的翻译。

在利用神经网络进行诸如机器翻译任务的自然语言处理之前，需要利用大量的训练语料来对神经网络的参数进行训练，以使得神经网络“学习”机器翻译任务所需的知识。在口语翻译中可能出现口误、卡顿、吞吞吐吐等“噪声”，造成翻译结果错误。在现有的用于训练神经网络的训练语料库中，通常没有或很少有类似具有噪声的训练语料。如果采用人工方式进行噪声插入和标注，则将产生巨大的标注成本。

发明内容

鉴于上述问题而提出了本公开。本公开提供一种插入噪声的语料生成方法、装置、设备、可读存储介质，用于生成插入有噪声的语料。

根据本公开的一方面，提供了一种插入噪声的语料生成方法，包括：获取待处理语料，其中，所述待处理语料中包括至少一个词语；对于所述至少一个词语中的词语，获取所述词语的特征信息；基于所述特征信息，确定对应于所述词语的噪声；以及在所述待处理语料中插入所述对应于所述词语的噪声，生成所述插入噪声的语料。

根据本公开的一些实施例，所述获取所述词语的特征信息包括：对所述待处理语料进行处理，确定对应于该词语的噪声类型，作为所述特征信息，其中，所述噪声类型包括以下类型中的一种：纠正类型、语气类型。

根据本公开的一些实施例，在确定所述噪声类型为纠正类型的情况下，所述获取所述词语的特征信息还包括：获取所述词语的拼音，作为所述特征信息；所述确定对应于所述词语的噪声包括：基于所述词语的拼音确定对应于所述词语的噪声。

根据本公开的一些实施例，所述基于所述词语的拼音确定对应于所述词语的噪声包括：基于由语料库得到的统计数据，在所述词语的拼音中确定变换音节；确定对应于所述变换音节的替换音节；利用所述替换音节替换所述拼音中的所述变换音节，以生成噪声拼音；将对应于所述噪声拼音的词语确定为对应于所述词语的噪声。

根据本公开的一些实施例，在确定所述噪声类型为语气类型的情况下，所述获取所述词语的特征信息还包括：获取所述词语在所述待处理语料中的位置信息，作为所述特征信息；所述确定对应于所述词语的噪声包括：基于所述词语的位置信息确定对应于所述词语的噪声。

根据本公开的一些实施例，在确定所述噪声类型为纠正类型的情况下，所述获取所述词语的特征信息还包括：获取所述词语的纠正噪声的字符长度，作为所述特征信息；所述确定对应于所述词语的噪声包括：基于所述字符长度，确定所述纠正噪声的保留部分，将所述保留部分确定为对应于所述词语的噪声。

根据本公开的一些实施例，所述方法还包括：确定所述待处理语料的噪声插入次数；在所述噪声插入次数大于1的情况下，在所述待处理语料中确定特征信息为语气类型的词语，获取所述词语在所述待处理语料中的位置信息，基于所述词语的位置信息确定对应于所述词语的噪声，在所述待处理语料中插入所述对应于所述词语的噪声。